Nel 1218 abbandonò le rivendicazioni sul titoli in Zähringen, e nel 1227 anche a quelle in Braunschweig. Ermanno fu poi creato conte di Ortenau e Brisgovia. Nell'entourage dell'imperatore Federico II, viaggiò per gran parte della Germania e dell'Italia e nel 1221 fu fatto prigioniero in Egitto. Prese parte alla Quinta Crociata nel 1228 con l'imperatore e suo fratello. Il margravio fu consigliere di Enrico VII finché non fu detronizzato e partecipò inoltre alle battaglia difensiva contro i Mongoli a Liegnitz.