Carsten Müller ble i 1940 gift med Vigdis Bull-Hansen (født 1916), og de fikk barna Ellen (1942), Carl Arnoldus (1944), Cecilie (1945) og Fredrik (1954). Både hans far Carl Arnoldus Müller (1886–1983) og flere av forfedrene var leger.