Han var sønn av Anton Olaf Andresen (1863–1926) og Nilsine Trondsen (1870–1959). Faren drev manufaktur i Kristiania. Han var bror av operasangeren Alf Henry Andresen (1891–1963), mens søstera Ingeborg Andresen (1904–92) var mor til Thorvald Stoltenberg.