Dorastał w Weitenau w południowej Badenii (dziś część Steinen). Podczas gdy jego ojciec, będący nauczycielem w szkole podstawowej i poetą, Reinhard Reitzel (1812-1889) „nie był człowiekiem postępowym”, jego matka, kobieta wykształcona, była oddana rewolucji marcowej 1848. To ona nadała synowi imię po Robercie Blumie, bohaterze rewolucji, który został zastrzelony w Wiedniu pod koniec 1848. Reitzel uczęszczał najpierw do liceum im. Karla Friedricha w Mannheim, a następnie do liceum im. Bismarcka w Karlsruhe, ale najprawdopodobniej miał trudności z dostosowaniem się do dyscypliny panującej w tych instytucjach i w 1869, dwa miesiące przed maturą, został wydalony bez konkretnego powodu. Jego ojciec był bardzo zasmucony tym faktem: „Najsmutniejsze nie jest to, że stał się nikim, ale to, że chce stać się nikim”. Sprawozdania, według których Reitzel ostatecznie ukończył maturę, a następnie przerwał studia teologiczne. Wkrótce zdecydował się na emigrację do Ameryki. Już w lipcu 1870 przybył do Nowego Jorku.