W 1982 kierowana przez niego FDP zerwała koalicję z SPD. Lider liberałów we wrześniu tegoż roku ustąpił z funkcji rządowych, opowiedział się za stworzeniem koalicji z CDU/CSU, a następnie za przeprowadzeniem procedury konstruktywnego wotum nieufności wobec rządu. W jej wyniku w październiku powołany został rząd chadeków i liberałów z kanclerzem Helmutem Kohlem. Hans-Dietrich Genscher w nowym rządzie po kilkunastu dniach powrócił na urzędy wicekanclerza i ministra spraw zagranicznych. Kontynuował prowadzenie polityki odprężenia w stosunkach z ZSRR i krajami socjalistycznymi, w tym z NRD. W 1984 odbył oficjalną podróż do Teheranu. Był pierwszym zachodnim szefem dyplomacji, który gościł w Iranie po rewolucji islamskiej w 1979. W 1988 przybył z wizytą do Polski, gdzie spotkał się m.in. z Lechem Wałęsą, przewodniczącym nielegalnej wówczas „Solidarności”. W 1985 zrezygnował ze stanowiska przewodniczącego FDP.