Гімнастыкай займаўся з 12 гадоў. Дэбютаваў у зборнай у 1938 годзе ў міжнародным матчы паміж Германіяй і Фінляндыяй. Павінен быў дэбютаваць на Алімпіядзе 1940 года, якую планавалі правесці ў Хельсінкі, аднак з-за Другой сусветнай вайны Гульні былі адменены.