Han gikk inn i politikken i 1928. Under andre verdenskrig tilsluttet han seg den greske eksilarmé i Egypt. Etter den andre verdenskrig steg Karamanlis raskt i gradene innen gresk politikk. Han ble arbeidsminister i 1947. Han fikk beundring fra den amerikanske ambassaden for sin effektivitet innenfor Hellas sin infrastruktur og hvordan han administrerte amerikanske bistandsprogrammer.