Per Voksø var født og oppvokst i Bergen. Han var sønn av Julius Peder Voksø (1888–1937) og Gudrun Larssen (1891–1972). Han tok Handelsskolen i 1941 og examen artium i 1944.