Il est élu député de Ioannina pour la première fois en 1946, et le restera jusqu'en 1964. Il occupe par la suite différents postes ministériels, comme ministre de l'Équipement, de l'Économie, du Commerce, de l'Agriculture et, durant la période cruciale de 1956 à 1963, des Affaires étrangères. De 1967 à 1973, sa lutte contre la dictature des colonels lui vaut une arrestation et un emprisonnement. En 1974, après la chute des colonels, il devient ministre de la Défense nationale dans le gouvernement de Konstantínos Karamanlís, dont il est un proche collaborateur. À ce poste sensible qu'il occupe jusqu'en 1981, il réussit la tâche difficile de réorganiser et purger les forces armées. La même année, il est élu président du parti de la Nouvelle Démocratie, dont il demeure le président d'honneur à partir de 1984. Son nom est toutefois mêlé à la mort d'Aléxandros Panagoúlis, député de l'Union du centre, qui est tué dans un « accident » de la route provoqué par un militant communiste. Panagoúlis accusait Averoff, contact entre Karamanlís et la junte, de collaboration avec la dictature, ainsi que d'implication dans le coup d'État à Chypre, accusation qu'il souhaitait démontrer peu avant sa mort.