Rubi besuchte die Lehrerausbildung in Hofwil, war zunächst Primarlehrer in Fuhren in der Gemeinde Gadmen und von 1923 bis 1939 Primarlehrer in Wengen. Er absolvierte die Bergführer-Ausbildung, schloss sich dem Skiclub Wengen an und begann Ende der 1920er-Jahre, als bereits über 30-Jähriger, zusammen mit Ernst Gertsch, dem «Vater des Lauberhornrennens», mit intensivem Abfahrts- und Slalom-Training. 1929 war er Gründer und später Leiter der Skischule Wengen. Beim ersten Lauberhornrennen im Jahre 1930 gewann er vor den favorisierten Engländern die Abfahrt. Im Slalom wurde er Siebter und in der Kombination Vierter. Bei den FIS-Rennen 1931 in Mürren, später zur ersten alpinen Skiweltmeisterschaft erkoren, belegte er in der nicht zum offiziellen Meisterschaftsprogramm gehörenden «langen Abfahrt» den 13. Platz. Als Bergführer unternahm Rubi Erstbegehungen in den Berner und Walliser Alpen. 1936 gehörte er neben seinem Bruder Adolf Rubi, der ebenfalls Skisportler und Bergführer war, sowie Hans Schlunegger und Arnold Glatthard dem Rettungsteam der bei einem Erstbesteigungsversuch der Eiger-Nordwand verunglückten Bergsteiger Toni Kurz, Andreas Hinterstoißer, Willy Angerer und Edi Rainer an.