I september 1940 organiserte von Schirach evakueringen av 5 millioner barn fra byene til landsbygden, siden byene var truet av alliert bombing. Han ytret forsiktig kritikk mot behandlingen av jødene, og forbød sine underordnede i HJ å delta i krystallnatten. Da han 24. juni 1943 krevde en bedre behandling av østeuropeere, falt han i unåde hos Hitler. Også hans kone Henriette, som han hadde tre sønner og en datter med, var kritisk til jødeforfølgelsene. Henriette var datter av Hitlers fotograf Heinrich Hoffmann og kalte i oppveksten Hitler «onkel Wolf». Hitler virket som han var glad i henne og kalte henne (= solskinn). Men under et opphold i Amsterdam ble Henriette vitne til den brutale deporteringen av en gruppe jødinner. Dette tok hun opp med Hitler neste gang hun ble invitert til hans landsted Berghof. Hitler ble blek og svarte: «Vi er i krig.» Deretter reiste han seg fra bordet og ropte: «De er sentimental, fru von Schirach! De må lære å hate! Hva har nederlandske jødinner med Dem å gjøre?» Han skal ha brukt ordet (= humanitetspjatt). Henriette ble aldri mer invitert til Berghof og skilte seg fra von Schirach i 1950.