Pedersen var innvalgt i Trondheim bystyre for Høyre 1926–1937, i perioden 1931–1934 som varaordfører. I 1929 ble han formann i Trondhjemsforeningen, som ble dannet under striden om bynavnet Nidaros. Ved formannskaps- og ordførervalget for 1935 ble Harald Pedersen og Harald Torp valgt til ordfører og varaordfører, etter at en stemmeseddel som var ment for Arbeiderpartiet, ble forkastet. Valget ble annullert etter anke til departementet. Pedersen tapte for Ivar Skjånes ved loddtrekning i omvalget, og måtte gå fra ordførervervet etter to måneder, noe som innledet et langvarig arbeiderpartistyre i byen, bare avbrutt av okkupasjonsårene.