Olsen debuterte for det norske landslaget mot Nederland i 1919. Han spilte venstre half i debuten, men var senterhalf i 34 av sine 37 landskamper i perioden 1919–1932. Han var blant annet med da landslaget gikk ubeseiret gjennom 1929 og da laget vant gullpokalen i den nordiske fireårsturneringen i 1932.