Etter uenighet innad i regjeringen Brandt trådte Schiller tilbake som finansminister. Han stilte senere samme år sin plass i SPDs presidium til disposisjon og meldte seg dessuten ut av partiet. I valgkampen samme år støttet han CDUs kanslerkandidat Ludwig Erhard, men ble selv aldri medlem av CDU. Han meldte seg siden inn igjen i SPD.