Han var sønn av bødtkermester og fabrikkeier Johan Halvorsen (1855–1927) og Henriette Bredesen (1859–1942) fra Solør. Han giftet seg i 1922 i Paris med skuespiller Greta Prozor (1885–1978), datter av den litauisk-polske Ibsen-oversetter, grev Maurice Protzor (1849–1929) og den svenske grevinne Märta Margareta Bonde av Björnö (1855). Greta var i kunstnerkretsen (Le Bateau-Lavoir) og var Hedda i Hedda Gabler i 1911. De var ikke lenge gift, for i 1923 giftet Walther seg med maler og pedagog Anita Mowinckel (1894) som hadde studert i Paris siden 1919. Anita var født i Bilbao, datter av konsul Gerhard Mowinckel (1865–1923) og Louise Aurora Augusta Sverdrup (1871–1931), se slekten Mowinckel. Walther og Anita fikk to barn, Anita Louise Henriette Marcelle Halvorsen i 1924 og Celine Halvorsen i 1930.