Solberg har også skrevet seg inn i norsk arkeologi ved at han i 1907–1909 ledet utgravninger av boplasser på Kjelmøya i Varanger. Funnet er i ettertiden kjent som Kjelmøyfunnene, og refereres fremdeles til som et av de viktigste bidragene til belysning av samisk historie fra eldre jernalder.