Som pensjonist ble Oliver nestleder av Royal National Lifeboat Institution. Når han nådde en alder av 100 i januar 1965 ble det anslått at i løpet av hans tretti-års periode av alderspensjon han hadde mottatt 76 000 britiske pund i pensjonsutbetalinger. Han døde i sitt hjem i London den 15. oktober 1965. Han var kjent for, gjennom hele sin marinetjeneste, for å være den værste antrukne offiser i Marinen, men var også kjent for sin arbeidsmoral, og at han sjelden tok noe fri og ofte jobbet fjorten timer i døgnet, inkludert i helgene. Han ble imidlertid ikke høyt ansett som en inspirerende leder av dem som tjenestegjorde under ham.