これに対して田中弘之は、羽倉の伊豆諸島巡見は彼の支配地である大島から八丈島までの巡見であり、無人島渡航を命じられた事実はうかがえず、羽倉の無人島渡航は単なる噂に過ぎなかった。当時の和船では八丈島への航海でさえ危険が伴ったのである。崋山は噂を事実と信じて同行を希望したが、彼は西洋人が小笠原島に定住していることを知っていたようで、西洋に肯定的認識を持っていた崋山はそれゆえに最も身近な西洋とも言える無人島への興味と憧れから無人島渡航への同行を希望したものとみられる。そもそも羽倉と崋山の接点は不明で、もし2人が親密な間柄であったなら、無人島渡航の計画がないことを崋山は知らされていただろうとしている。天保の半ばころ、常陸国無量寿寺の住職・順宣とその子息・順道は林子平の『三国通覧図説』や漂流者の日記などを読んで影響を受けたことから、無人島に関心を持ち、現地への渡航という夢を抱くようになった。旅籠山口屋の後見人・金次郎らもこの計画に関心を持っており、他に蒔絵師・山崎秀三郎、御徒隠居・本岐道平、陪臣医師・阿部友進、御普請役の兄・大塚同庵、元旗本家家臣・斉藤次郎兵衛、後に仲間を裏切って鳥居のスパイとなった下級幕臣・花井虎一らもこの計画に参加していた。この無人島渡航計画はもちろん幕府の許可を得たうえで実行することになっていたが、資金をはじめ船や食料の調達など具体的なことは何一つ決まっておらず、無人島に関心のある人々が地図や記録類を集めては夢や期待を語りあっていただけであった。事件の展開.鳥居の暗躍.一連の調査の結果、順宣らの計画は幕府に許可の願書を出し済みの合法的なものであることが判明したが、鳥居は、この計画に崋山が関与しさらに単独でアメリカに渡ろうとしている旨の告発状を書き上げ、水野に提出した。先年崋山が羽倉の小笠原諸島の調査に同行しようとしたことも、密航の企ての証拠とされた。