Al retirarse del Servicio Colonial Británico, Gardner se mudó a Londres pero eventualmente, antes de la 2ª Guerra Mundial, se mudaría a Highcliff, al este de Bournemouth y cerca de New Forest, en la costa sur de Inglaterra.