With var en kraftig og initiativrik mann. Således var han med på å danne et selskap i Tromsø i 1840, hvis formål var å drive fangst av håkjerring langs kysten utenfor Lofoten og nordover. I den anledning reiste han sydover og kjøpte 3 fartøyer for interessentskapet.