Etter å ha avlagt eksamen ved det anerkjente realgymnaset Wöhlerschule i Frankfurt am Main, begynte Rubens i 1884 å studere elektroteknikk ved de tekniske høyskolene i Darmstadt og Berlin. Året etter skiftet han over til fysikk ved Universitetet i Berlin, noe han etter ett semester fortsatte med, etter å ha flyttet til Straßburg (dagens franske Strasbourg). Her fulgte han fremfor alt forelesningene til fysikeren August Kundt. Da denne i 1888 overtok en stilling etter Hermann von Helmholtz ved Universitetet i Berlin, fulgte Rubens med dit og mottok sin doktorgrad der i 1888. I perioden 1890–1896 var han assistent ved universitetets (fysikkinstitutt) hvor han habiliterte seg i 1892. Dermed var han og hadde rett til å undervise. Allerede da hadde han utmerket seg ved eksperimentelle undersøkelser av infrarød stråling.