Se casó en Oxford en 1954 con la Princesa Henriette Marie-Gabrielle ("Mariga") von Urach, hija de el Príncipe Albrecht von Urach y nieta del Rey Mindaugas II de Lituania, con la cual tuvo un hijo, Patrick Desmond Carl-Alexander, y una hija, Marina.Por su segundo matrimonio Desmond es también padre de otro hijo, Anthony, quien es un miembro afiliado de Hash House Harriers.