Seinen ersten Erfolg feierte Vinjarengen mit dem Gewinn der Silbermedaille im Einzel der Nordischen Kombination bei den Olympischen Winterspielen 1928 in St. Moritz. Im gleichen Jahr stellte er auf dem Holmenkollbakken in Oslo mit 47,5 Metern einen neuen Schanzenrekord auf, der jedoch noch im gleichen Jahr von seinem Landsmann Alf Andersen überboten wurde. Ein Jahr später, bei den Norwegischen Meisterschaften 1929 in Kongsberg gewann er im Einzel der Kombination vor Johan Grøttumsbråten und Trygve Brodahl seinen ersten Norwegischen Meistertitel. Wenig später startete er bei der Nordischen Skiweltmeisterschaft 1929 in Zakopane und gewann im Einzel der Kombination den Weltmeistertitel. Bei den Spezialspringern landete er von der K90-Schanze auf dem fünften Rang. Ein Jahr später bei der Nordischen Skiweltmeisterschaft 1930 in Oslo verteidigte er seinen Titel im Einzel. Damit gewann er auch das erste Mal das Holmenkollen Ski Festival zudem die Weltmeisterschaft gehörte.