Evensen hadde sin første del av barndommen ved Bota ved Tvedestrandfjorden, og han var sønn av sjøkaptein Ole Evensen. Familien flyttet til Newcastle i England i 1928, da faren fikk tilbud om jobb der av en bekjent som eide en skipshandel.