Робер был вторым сыном Фердинанда Филиппа, герцога Орлеанского и Елены Мекленбург-Шверинской. Имел единственного брата Луи-Филиппа, графа Парижского, наследника французского престола. Робер в раннем детстве потерял отца, погибшего в дорожной аварии. С революцией 1848 года их семья была вынуждена покинуть Францию, принц с матерью и братом остановились в Германии. В 1857 году, когда ему было 17 лет, умерла и его мать. Воспитанием Робера с братом занимались родители их отца Луи-Филипп I и Мария Амалия Неаполитанская.