政府内で鉄道敷設が正式に決定した後、大隈と伊藤が高島屋を訪れた際、嘉右衛門は「(鉄道が敷設されたなら)全国都鄙の往来は自在となり、物流も大いに促されて物価も平均となりましょう。諸県の数もまた減じて、国庫の費えも節約できます。一朝有事の際しては、兵の動員や兵站の輸送も円滑となりますし、維新回天によって失職貧窮の憂き目を見た士族を鉄道敷設に動員して衣食の糧を与えますれば、必ずや富国の基礎をなすことになりましょう。」と語った。その後、ホレーシオ・ネルソン・レイと契約して個人での鉄道敷設を考え、嘆願書を出すも、大隈重信と伊藤博文は政府としてレイと契約を結んでおり(つまりレイはダブル・スタンダードだった)、嘆願書は却下された。後に大隈より事業参加の打診があったが、このとき嘉右衛門は辞退して、「鉄道をできるだけまっすぐに敷くためにも、この高島嘉右衛門に同所(神奈川の青木橋[現在の京浜急行神奈川駅横]から横浜の石崎に至る深い入り江、工事の最大の難所)の海面埋立をお任せ願えないでしょうか」と申し出た。なお、当時この事業の引き受け手がなかなか見つからず、埋め立て開発した者には鉄道線路を除き、その土地を永代拝領するという条件が新政府から出されていたが、高島はそれを政府に献上したため、その偉業を称えて高島町と名づけられた。隠棲後も.易断家.高島易断.嘉右衛門は実業家としても有名だが、易断による占いでも特に有名で、今でも「易聖」と呼ばれている。安政の大地震の数日前、嘉右衛門の周りで奇異が起き、弟より理由なく釜が鳴ったのを聞いて、幼少時に学んだ易経に従って卦を立てたところ「火」に関する卦を得たため大火が起こることを予知して大量の材木を買収、数日後に大地震が発生。その後は上記にある通りである。西郷隆盛、大久保利通、伊藤博文の死期の卦までも立てたといわれている。特に伊藤の時に立てた卦は艮が重なる艮為山で、重艮が安重根を指しているとして、暗殺者の人名も当てたとされている。しかし伊藤の死を予見しながらも、伊藤の決意を翻すことができなかったことから、これ以後、他人を占うことはなかった。また自らの死期を予知し、生前に既に死期を記した位牌も持っていたとされ、その予知通りに死去。墓所は赤穂浪士の墓所でもある泉岳寺。戒名は「大観院神易呑象居士」。