Nach dem erfolgreichen Redarierfeldzug spielte Hermann auf Reichsebene zunächst keine Rolle mehr. Dagegen söhnte sich sein älterer Bruder Wichmann 939 mit dem König aus und dürfte dem mächtigen Geschlechterverband bis zu seinem Tod 944 weiter vorgestanden haben. Aber erst knapp zehn Jahre nach Wichmanns Tod finden sich vermehrt Nachrichten über Hermann, der bis 953 in den Schriftquellen nur noch einmal erwähnt wird. Auffälligerweise kämpfte Hermann nicht mehr an der Seite des Königs. Den Kämpfen des Liudolfinischen Aufstandes 953 blieb er fern. Auch an den beiden großen Schlachten des Jahres 955 – auf dem Lechfeld gegen die Ungarn und an der Raxa gegen die Slawen – beteiligte sich Hermann nicht. Stattdessen festigte er in einer Reihe von Kämpfen gegen die Söhne seines Bruders Wichmann seinen Herrschaftsanspruch über den Geschlechterverband und die riesigen Besitzungen im Nordosten. Gegenüber den Slawen an der unteren Elbe, namentlich den Abodriten, verfolgte er eine auf Ausgleich und dynastische Bindungen bedachte Politik. Damit wählte er einen anderen Ansatz als der Markgraf Gero an der mittleren Elbe. Als Hermann 961 vom König für die Dauer von dessen Italienfeldzug die Vertretung in Sachsen erhielt, dürfte er bereits der mächtigste Große in Sachsen gewesen sein.