Detalmo Pirzio-Biroli entstammte einem alten italienischen landsässigen Adelsgeschlecht. Er wurde als Sohn der Idanna Di Brazza und deren Ehemann Giuseppe Pirzio-Biroli, Bruder des italienischen Generals Alessandro Pirzio-Biroli, geboren. Er heiratete am 8. Januar 1939 die junge deutsche Adelige Fey von Hassell die aufgrund der Verstrickung ihres Vaters Ulrich von Hassell beim Staatsstreichversuch gegen das NS-Regime und Adolf Hitler am 29. Juli 1944 Sondergefangene der SS von 1944 bis 1945 war.