Après le coup d'État de 1960, il est à nouveau élu représentant de la province de Kocaeli au sein de la Grande Assemblée nationale. Il dirige alors la délégation parlementaire du CHP. En conflit avec un autre dirigeant du CHP, İsmet İnönü, il est évincé du parti en 1962 avant de le réintégrer en étant réélu au sein du comité dirigeant. De 1961 à 1970, Nihat Erim est représente la Turquie au sein du Conseil de l'Europe. En 1969, il intègre la Commission du droit international, organe des Nations unies.