Hermann var i motsetning til de andre stormesterne før han, sjelden hjemme i Tyskland. Han oppholdt seg enten ved Fredriks hoff, hos paven i Vatikanet, eller ute hos soldatene sine på felttog. Til tross for sine politiske bragder, begynte det å vokse mistillit innad i ordenen grunnet stormesterens fravær. Mistilliten endte med at de kalte Hermann tilbake fra utlandet, og fikk han trukket fra det politiske liv. Etter dette tilbakeslaget trakk Hermann seg tilbake til Salerno i Italia i 1238, der han døde i 1239.