V zámku bydlel malíř August Bedřich Piepenhagen, který zde roku 1868 zemřel. V roce 1922 koupila Jenerálku kancelář československých legií a Podpůrného fondu legionářského a z Jenerálky se tak stal domov legionářů-invalidů. Po atentátu na Reinharda Heydricha byla Jenerálka přeměněna na dětský domov s tvrdým režimem pro 46 dětí, jejichž rodiče byli popraveni nebo skončili v koncentračních táborech. 14. dubna 1944 byly tyto děti odvezeny do internačního tábora Svatobořice na jižní Moravě. Karl Hermann Frank na Jenerálce ke konci války shromáždil vězněné politiky, po kterých chtěl, aby se ujali správy země. Vězňové byli osvobozeni 7. května 1945 (mezi nimi mimo jiné i členové paraskupiny Chalk) během Pražského povstání.