Ernst Diesen var sønn av stadsfysikus Andreas Melchior Diesen. Han giftet seg i 1937 med kollega Kari Steen, bedre kjent som Kari Diesen (1914–1987). Sammen fikk de to barn, Kari Diesen d.y. (1939–2016) og Andreas Diesen (født 1945). Kari Diesen d.y. var blant annet med å bygge opp Tusenfryd fornøyelsespark, og arbeidet senere for folkemusikksaken i Rikskonsertene. Andreas Diesen er kjent som tekstforfatter, skribent og revyhistoriker i NRK.