Bygningerne blev under Anden Verdenskrig brugt som Gestapos jyske hovedkvarter, og blev derfor bombet af englænderne i slutningen af krigen.
En af arkitekterne, C.F. Møller, blev under dette angreb begravet under murbrokkerne, men blev efter nogle timer reddet ud og stod sidenhen for genopbygningen.