用地の買収は難航したものの、福武は2001年(平成13年)の6月には精錬所跡地の取得を終わらせた。福武はかねてから大阪万国博覧会の開催された年、また三島事件のあった年でもある1970年を境に、日本は悪い方向に進みつつあると考えていた。彼は前東京都知事で小説家でもある、猪瀬直樹より譲り受けた三島由紀夫の解体された旧宅を柳に託し、この島に新しく建てられる美術館に置くアート作品の素材としてこれらを使わせた。また福武は建築家の三分一博志に美術館の設計を依頼した。これらの設計には幾回もの協議が重ねられ、方向性が定まるまでには7～8年を要した。