Wallem var født i Bergen, og tok artium ved Trondheim katedralskole 1896. Han studerte arkeologi og kunsthistorie, ble dr.philos. i 1910 og arbeidet 1911–1920 ved Universitetets etnografiske museum og Oldsaksamlingen i Oslo.