W reprezentacji Norwegii Ulleberg zadebiutował 26 lipca 1936 roku wygranym 4:3 towarzyskim meczu ze Szwecją, rozegranym w Sztokholmie. W 1936 roku zdobył z Norwegią brązowy medal na igrzyskach olimpijskich w Berlinie. W 1938 roku został powołany do kadry na mistrzostwa świata we Francji, na których nie wystąpił. W kadrze narodowej od 1936 do 1937 roku rozegrał 14 spotkań.