Han giftet seg i 1894 med Anna («Annie») Grieg (1873–1957) av Grieg (slekt), niese av Edvard Grieg. Deres sønn Stein Grieg Halvorsen (1909–2013) ble også skuespiller og i sitt andre ekteskap med skuespiller Vibeke Falk (1938–), far til komiker og musiker Stein Johan Grieg Halvorsen (1975–). Som mange norske dirigenter og komponister var Halvorsen frimurer.