Karl Müller var den eldste av fire barn av den protestantiske pastor Karl Daniel Müller (1773–1858) og hans hustru Juliane Müller, født Linke (1774–1858). Hans bror Julius Müller (1801–1878) ble en kjent teolog, broren Eduard Müller (1804–1875) gymnasialdirektør i Ratibor og Liegnitz.