Im Skisport erzielte der damals 21-jährige Rubi seinen ersten grossen Erfolg auf nationaler Ebene mit dem Sieg im 18-km-Langlauf beim 20. Grossen Skirennen der Schweiz (Schweizer Skimeisterschaften) 1926 in Wengen. Im Kampf um den Meistertitel aus Langlauf und Sprunglauf war er nur dem Adelbodner Sepp Schmid unterlegen. Im selben Jahr gewann er bei den alpinen Skirennen in Adelboden den "Goldenen Ski von Adelboden". Auch auf internationaler Ebene zählte Rubi ab dieser Zeit zu den erfolgreichsten Schweizern. So erreichte er bei der Nordischen Skiweltmeisterschaft 1927 in Cortina d’Ampezzo hinter drei Tschechen den vierten Platz in der Nordischen Kombination und bei den Olympischen Winterspielen 1928 in St. Moritz wiederum als bester Schweizer den elften Rang in der Nordischen Kombination (im Springen wurde er Zwölfter und im Langlauf Vierzehnter).