I 1920 ble Hermo valgt til sekretær i Hammerfest Arbeiderparti. Senere ble han valgt til leder. På et ekstraordinært møte i Vardø i januar 1927 ble han valgt som delegat til Arbeiderpartiets partisamling i 1927 i Oslo, også kjent som samlingskongressen mellom Det Norske Arbeiderparti og Norges Sosialdemokratiske Arbeiderparti. Dette førte til at han fikk verv i Arbeiderpartiets landsstyre, og etter sammenslåingen i mellompartiene i Finnmark, ble han kasserer i Finnmark Arbeiderparti. Disse grepene viste seg å ha en svært stor effekt, da oppslutningen i Hammerfest ved neste Stortingsvalg økte med 822 stemmer, noe som var mye på den tiden.