Foran valget i 1985 samarbeidet Centerpartiet og KDS, noe som ikke ble likt av mange senterpartivelgere. Det var en tydelig markering at Centerpartiet kunne samarbide mot høyre, men ikke mot venstre. De fikk se seg beseiret også denne gange. Den 5. desember samme år forlot Fälldin partiordførerskapet da valgkomiteen uttalte at den ikke aktet å föreslå ham til omvalg som partileder på partimøtet i juni 1986. Han forlot også riksdagen og vendte hjem til sitt gårdsbruk i Ramvik, som hans fru Solveig hadde tatt seg av mens han var i maktpolitikkens Stockholm.