Krakket i Bergens privatbank i 1922 førte Wallem ut i likviditetsproblemer og han måtte selge flere av sine eiendommer. Prakteiendommen Erviken (Øvre Ervik) fikk han beholde etter et lån fra vennen Johan Ludwig Mowinckel. I 1925 etablerte han kontor i Hongkong.