Han var bror til Jens Müller (1917–99), deres foreldre var ingeniøren Einar Jønsberg Müller (1874–1943) og den britiske skuespillerinnen Daisy Constance Russell (1891–1978). Faren virket i Kina, blant annet som sjefingeniør for et jernbaneselskap i Anhui fra 1905, og senere med eget firma i Shanghai.