В национальную сборную Норвегии стал вызываться в 1994 году. В её составе дебютировал 9 марта в товарищеском матче с Уэльсом, выйдя на замену на 70-й минуте вместо Хьетиля Рекдаля. В течение года он ещё всего раз появился на поле во встрече отборочного этапа чемпионата Европы 1996 года со сборной Мальты. С 1995 года главный тренер сборной Эгиль Рогер Ольсен стал регулярно вызывать Сольбаккена на международные встречи. На чемпионат Европы в Англию норвежцы в итоге не поехали. Сборная заняла в квалификации третье место, пропустив вперёд команду Голландии и будущих финалистов турнира — чехов.