Venstre hadde før valget i 1965 lovet å bygge nye boliger i løpet av stortingsperioden, og dette var en viktig faktor i partiets sterke valgresultat. Kommunalminister Helge Seip ble en uformell «boligminister», men boligløftet skapte friksjoner i forholdet til Borten. Borten hadde i alle år vært skeptisk til offentlig støtte til boligbygging, spesielt i sentrale strøk. Som statsminister allierte Borten seg med næringsminister Kåre Willoch og fikk redusert boligbyggingsplanene. De begrunnet dette med at en aggressiv utbygging ville øke rentene og skape et stramt arbeidsmarked. Venstre-formann Røiseland valgte å gå ut i media og beklage at partiet ikke fikk oppfylt valgløftet, men dette ble ikke tatt godt i mot hos Borten, som synes denne type offentlig kritikk fra en regjeringspartner var uakseptabel.