Han vokste opp i Vágur på Suðuroy som sønn av sognefogd og postekspeditør Anders Ole Olsen fra Nysted og Julianne Pauline Dahl fra Vágur. Moren var søster av prost Jákup Dahl. Han giftet seg i 1923 med Johanne Dahl, datter av lagtingsmann og kjøpmann Jógvan Dahl. Gunnar og Johanne Dahl-Olsens datter Astrid ble mor til lagtings- og folketingsmann Óli Breckmann.