Han var sønn av lensbaron G.F.O. Zytphen-Adeler (1810–1878) og Berthe Henriette Frederikke Løvenskiold (1814–1875), datter av Herman Løvenskiold og Sophie Hedevig Adeler. Han giftet seg den 25. oktober 1867 med Malvina Cecilia Georgette født de Falsen (1848–1919). Samme år fikk han patent på navnet og tittelen og det dertil svarende våpenskjold.