I mars 1933 nedla han alle verv og trakk seg fra riksdagen i protest mot nasjonalsosialistenes maktovertakelse. Han hadde i 1920 giftet seg med Anna Schaller og fått to døtre og tre sønner med henne. I 1936 reiste Hermes til Columbia uten sin familie for der å bli regjeringens rådgiver. Han vendte i 1939 tilbake til Tyskland for å hente familien, men ble etter krigsutbruddet nektet utreisetillatelse.