Der Sohn des Landwirtes Rhoen (1784–1863) und der Marie Elisabeth Cuvelier (1782–1846) aus Orsbach absolvierte nach seiner Schulzeit zunächst von 1843 bis 1845 eine Ausbildung zum Landvermesser und wurde anschließend als Techniker bei der Aachen-Neuß-Düsseldorfer Eisenbahngesellschaft übernommen. Hier gehörte er zum Team, welches mit dem Ausbau der neuen Strecke von Aachen über Gladbach, Neuss nach Düsseldorf beauftragt war. Als das Projekt infolge der Revolution 1848 ins Stocken geriet, übernahm Rhoen vorübergehend einige kleinere Bauprojekte in Rheydt, kehrte aber alsbald nach Aachen zurück.