En 1248, se casó con Gertrudis de Austria, la sobrina del último miembro varón de la Casa de Babenberg, duque Federico II de Austria (1230-1246), y sobre la base de este matrimonio reclamó los ducados de Austria y Estiria, dejando el gobierno de Baden a su hermano menor Rodolfo I. No obstante, tuvo un rival poderoso, el rey Otakar II de Bohemia, quien en 1252 se casó con la hermana de Federico Margarita de Austria para legitimar sus pretensiones. De acuerdo con el Privilegium Minus emitido por el emperador Federico I Barbarroja en 1156, las tierras austriacas podrían ser legadas por línea femenina, y Hermann incluso obtuvo el consentimiento explícito del papa Inocencio IV. Sin embargo, el margrave y su hijo Federico no pudieron establecerse en Austria y Estiria a causa de la resistencia de la nobleza local, que prefirió a Otakar. Ninguno de los dos rivales triunfó, porque los ducados fueron capturados, como feudos revertidos para Habsburgo, por el rey Rodolfo I de Alemania después de la muerte de Otakar en la Batalla de Marchfeld de 1278.