高島嘉右衛門
そんな中、佐賀藩家老・田中善右衛門の斡旋により、1859年(安政6年)、横浜に伊万里焼の磁器や白蝋を一手に販売する肥前屋を開店。その際外国人を相手に、国内と国外の交換比率の違いを利用して金貨を売り多めに銀貨を受け取って儲けていたが、当時この交換方法が禁法だったため目を付けられ、潜伏するも後に自首。鉱山の採掘にも手を出しており、外国人相手にご禁制の小判を密売した罪で逮捕される。1860年(万延元年)、牢に入れられ、1865年(慶応元年)に釈免される。この時「高島嘉右衛門」に改名する。