Müller ble medlem av delstatsparlamentet («Landdagen») i Saarland i 1990; fra 1994 til 1999 var han leder av CDUs gruppe, og dermed leder av opposisjonen.