Rupp besuchte die Volksschule und wechselte danach an die Bürgerschule. Rupp war nach dem Abschluss seiner Schulbildung als Landwirt tätig. Rupp engagierte sich in der Christlichsozialen Partei und war von 1929 bis 1938 Mitglied des Gemeinderates von Höflein. Er vertrat die Christlichsoziale Partei zudem vom 27. April 1934 bis zum 2. Mai 1934 im Bundesrat (IV. Gesetzgebungsperiode). Rupp war von 1929 bis 1938 Mitglied der Landes-Landwirtschaftskammer Niederösterreich sowie Obmann des Bezirksbauernrates. Er wurde nach der Machtübernahme 1938 durch die Nationalsozialisten mehrmonatig in politische Gefängnishaft genommen und verbrachte viereinhalb Jahre im KZ Buchenwald und im KZ Sachsenhausen. Danach lebte Rupp 24 Monate in der Verbannung. Nach dem Zweiten Weltkrieg vertrat Rupp die ÖVP vom 19. Dezember 1945 bis zum 8. November 1949 im Nationalrat (V. Gesetzgebungsperiode).