I 1955 var Børresen rekonvalesent på Granheim Sanatorium etter en operasjon i halsen og lungene. Han ble utskrevet - reiste hjem - dårlig form - fattig som en kirkerotte - hans stemor ville ikke vite noe av han da han var kunstner og hadde langt hår. Hadde ikke noe sted å bo - fikk bo hos sin tante - hans kone forlot han. Her endte hans kunstneriske liv. Et aktivt menneske som får så mye motgang sammenfallende i tid faller hardt og har vanskelig for å reise seg. Han besøkte sin lille sønn i Oslo, og ved en anledning ble sønnen med faren hjem til Sarpsborg. På 70 tallet så ville han begynne å male igjen, malte med motiver fra hagen i Pellygata 26. Han ville ut i naturen for å male, men pga av sykdom kom han seg ikke ut.