W reprezentacji Norwegii Holmberg zadebiutował 26 lipca 1936 roku w wygranym 4:3 towarzyskim meczu ze Szwecją. W tym samym roku zdobył brązowy medal na igrzyskach olimpijskich w Berlinie. W 1938 roku został powołany do kadry na mistrzostwa świata we Francji i wystąpił na nich w meczu z Włochami (1:2). Od 1936 do 1939 roku rozegrał w kadrze narodowej 26 meczów.