Le , il « ouvre » le rideau de fer avec son homologue autrichien Alois Mock, en coupant les barbelés à la frontière entre les deux pays. C'est aussi lui qui déclare le que les autorités hongroises laisseront passer à la frontière tous les citoyens d'Allemagne de l'Est que l'Autriche accepte d'accueillir sans visa. Cette ouverture de la frontière a alors un rôle déterminant dans la chute du régime est-allemand et la réunification allemande. En tant que ministre des Affaires étrangères, c'est également lui qui prépare, puis signe en , l'accord de retrait de Hongrie des troupes soviétiques. En 1990, il est lauréat du Prix International Charlemagne.