高島嘉右衛門
江戸三十間堀町(現・東京都中央区銀座)に第六子として生まれる。父は遠州屋嘉兵衛(本姓は薬師寺)。母は「くに」。姉が2人。弟に高島徳右衛門。 父親の薬師寺嘉兵衛は、常陸国新治郡牛渡村出身で江戸に出て材木店「遠州屋」の手代となった。嘉右衛門は兄が皆夭折したため嫡子となる。幼少のころは父の教えに従い、四書五経や六諭衍義などを学ぶ。何度か読めばすべて覚えてしまうほど記憶力はかなりよかったらしい。14歳のころ父の営む材木商兼普請請負業や盛岡藩製鉄事業に従事するようになる。父・弟とともに東北で7年間働く。
嘉右衛門19歳の時、父を亡くし、棄捐令による影響や次姉の養子の放蕩により莫大な借金があることがわかり、その返済に奔走することになる。その頃父の名「遠州屋嘉兵衛」を襲名する。22歳の時に材木屋を始め、安政の大地震の時に江戸に大火が起こり、被害を受けた佐賀藩邸の普請や材木の売却により2万両の儲けを得て、負債の返済を終えるも、盛岡藩藩邸普請の際に暴風雨に見舞われ材木の流出や盛岡藩の支払い拒否により、却って2万両の負債を抱えることになった。