Durant le long de son exil en France (il vit entre 1963 et 1974 au 21 boulevard de Montmorency, à Paris), Karamanlís s'oppose, verbalement, à la dictature des colonels, la junte militaire qui a pris le pouvoir en Grèce en avril 1967. En juillet 1974, placé dans l'impasse à la suite de l'invasion de Chypre par les Turcs, le régime des colonels croit bon de faire appel à lui. Karamanlís ne pose alors aucune condition et retourne à Athènes à bord de l'avion présidentiel français prêté par Valéry Giscard d'Estaing. Il est nommé Premier ministre d'un gouvernement d'union nationale.