Rheinberger wurde 1911 in Vaduz als Sohn des Architekten Egon Rheinberger und dessen Frau Maria (geborene Schädler) geboren und wuchs mit zwei Brüdern auf. Er besuchte das Gymnasium in Schiers im Kanton Graubünden. Von 1931 bis 1937 studierte er Architektur in Stuttgart und Danzig. Ab 1938 wurde er mit einem eigenen Architekturbüro in Vaduz tätig. Als Architekt plante er unter anderen viele Villenbauten in Vaduz und Schaan, das Verwaltungsgebäude der Liechtensteinische Kraftwerke in Schaan, die Fürstengruft bei der Kathedrale St. Florin in Vaduz sowie die 1959 eröffnete Schwimmbadanlage in Vaduz. Auf der Weltausstellung 1958 in Brüssel gestaltete er den Liechtenstein-Pavillon.