Han var sønn av Anton Olaf Andresen (1863–1926) og Nilsine Trondsen (1870–1959). Faren drev manufaktur i Kristiania. Han var bror av operasangeren Ivar F. Andresen (1896–1940), mens søstera Ingeborg Andresen (1904–92) var mor til Thorvald Stoltenberg.