Beim schweren Luftangriff auf Kassel am 22. Oktober 1943 brannte der Bau aus und ein Teil der Fassade wurde zerstört, aber die Außen- und Innenmauern blieben weitgehend erhalten. Ein möglicher Wiederaufbau wurde praktisch nicht in Erwägung gezogen, und wie viele andere Baudenkmäler der Stadt, die durch Kriegshandlungen beschädigt, aber nicht vernichtet worden waren, wurde auch dieser Bau ein Opfer des Wiederaufbaus. Es wurde 1954 gesprengt. Heute verläuft die nach dem Krieg umgelegte Frankfurter Straße über den Ort des einstigen Hofverwaltungsgebäudes.