Dag Halvorsen ble født utenfor ekteskap som sønn av bibliotekassistent Ida Halvorsen (1907–1984) (datter av høyrestatsminister Otto B. Halvorsen) og dikteren Gunnar Reiss-Andersen (1896–1964). Han vokste opp hos morens foreldre i Homansbyen, like bak Slottet. Under den andre verdenskrig var hans mor aktiv i den kommunistiske motstandsbevegelsen. Halvorsen startet sin karriere som journalist tidlig med et blad kalt .