Karamanlis föddes i Osmanska riket, och blev grekisk medborgare 1913, efter andra Balkankriget. Han studerade i Aten, där han tog examen som jurist, och gick därefter med i konservativa Folkpartiet. När han var 28 invaldes han i parlamentet. Under andra världskriget var han frikallad på grund av hälsoskäl. 1947 utsågs han till arbetslivsminister under Konstantinos Tsaldaris, och under Alexander Papagos till minister för allmänna ärenden, varunder han skaffade sig goda kontakter med USA:s ambassad.