Etter å ha blitt frisk slo han seg ned i Huntingdon sammen med den pensjonerte presten Morley Unwin og hans kone Mary. Cowper ble så god venn med familien Unwin av han flyttet inn i huset deres og senere flyttet sammen med dem til Olney i Buckinghamshire hvor den tidligere slavehandleren John Newton nå jobbet som prest. Ikke lenge etterpå ble Morley Unwin drept da han falt fra hesten sin, men Cowper fortsatte å bo i huset, og ble etterhvert svært knyttet til to Mary Unwin.