S-a născut în orașul Proti, Macedonia, Imperiul Otoman (acum Grecia). El a devenit cetățean grec în 1913, după ce Macedonia a fost anexată de Grecia la finalul celui de al Doilea Război Balcanic. Tatăl său era Georgios Karamanlis, un profesor care a luptat în Conflictul Grec pentru Macedonia, în 1904–1908. După ce și-a petrecut copilăria în Macedonia, s-a dus la Atena pentru a-și susține doctoratul în drept. A practicat dreptul în Serres, a intrat în politică în Partidul Poporului și a fost ales membru al Parlamentului pentru prima dată la vârsta de 28 de ani, la alegerile legislative din 1936. Datorită problemelor de sănătate, Karamanlis nu a participat la Războiul greco-italian.