Od roku 1927 byl členem finské sociální demokracie. V letech 1939–1942 byl v jejích barvách ministrem financí. Ze sociální demokracie vystoupil po konci tzv. pokračovací války se Sovětským svazem, kdy byly ve Finsku zrušeny na žádost Sovětského svazu antikomunistické zákony. Vstoupil pak do nově založené Finské lidově-demokratické ligy ("Suomen Kansan Demokraattinen Liitto"), jíž vytvořili finští komunisté a levicoví sociální demokraté. Po volbách 1945, v nichž strana získala přes 23 procent hlasů, vstoupila do vlády a Pekkala se stal ministrem obrany (do 1946). Roku 1946 ho pod sovětským tlakem prezident Paasikivi jmenoval premiérem, prvním (a dosud jediným) radikálně levicovým premiérem v historii Finska. Vedl zemi dva roky a posunul ji blíže k sovětskému bloku. Po volbách v roce 1948, v nichž strana ztatila 11 mandátů, však z koalice na dlouhá léta vypadla a Finsko se součástí sovětského bloku nestalo. Agrární politik Juho Niukkanen to vysvětlil mj. i Pekkalovými osobními dispozicemi. "Byl příliš líný na to, aby udělal revoluci," řekl o něm. Jiní jeho neakceschopnost připisovali jeho alkoholismu, případně tomu, že s komunisty spolupracoval jen z taktických důvodů.