Foreldrene til Klein var fra Preussen, og han gikk på gymnaset i Düsseldorf. Senere studerte han matematikk og fysikk ved Universitetet i Bonn fra 1865 til 1866, og meningen var da at han skulle bli fysiker. I 1868 tok Klein doktorgraden under veiledning av Julius Plücker, som var professor i matematikk og eksperimentell fysikk. Plückers store interesse på den tiden var geometri, og da han døde i 1868 uten å ha fullført den andre delen av sin bok , var Klein den naturlige arvtakeren.