En 1977 Rau fue designado jefe del grupo parlamentario del SPD en el Landtag y en 1978 se convirtió en ministro-presidente del Estado de Renania del Norte-Westfalia, cargo en el que se mantuvo hasta 1998.