Robert Mueller er sønn av Alice C. (født Truesdale) og Robert Swan Mueller. Han er av tysk og engelsk slekt. Hans oldefar Gustave A. Mueller var en kjent lege i Pittsburgh, og hans far August C. E. Mueller hadde innvandret til USA i 1855 fra Pommern i Preussen.