Rheinberger fikk sin første orgelundervisning allerede i femårsalderen, og to år senere hadde han lært så mye at han kunne tjene som organist i Vaduz. På denne tiden gjorde han sine første forsøk på å komponere. Fra 1848 fikk han mulighet til å få en mer formell undervisning i den nærliggende landsbyen Feldkirch. Læreren hans var Philipp Schmutzer, som selv hadde fått opplæring i Praha og der blitt litt kjent med musikken til Johann Sebastian Bach, Wolfgang Amadeus Mozart og Ludwig van Beethoven. Etter råd fra komponisten Matthäus Nagiller lot faren, som var i tjeneste hos fyrsten av Liechtenstein, sønnen få dra til München for å studere på musikkonservatoriet der i 1851. Der fikk han Julius Joseph Maier, Johann Georg Herzog, Julius Emil Leonhard og Franz Lachner som lærere i tre år.