Rundt 1036 ble han tatt opp i kardinalkollegiet av pave Benedikt IX, samtidig som keiser Konrad II utnevnte ham til erkebiskop i Köln. Hermann fulgte keiseren på hans felttog til Italia og forble også lojal mot keiserens etterfølger Henrik IV av Det tysk-romerske rike. I 1049 mottok han pave Leo IX i Köln. Henrik IV ble både døpt og kronet av Hermann, noe som ikke ble godkjent av erkebiskop Luitpold I av Mainz. Hermann støttet også keiseren under opprøret fra hans egen nevø Konrad I av Bayern.