アール・ブリュット・コレクション
しかし資金不足とアール・ブリュット協会内での会員同士の対立などのため、アール・ブリュット協会の活動は低迷し、1951年には解散する。この背景には、両者の思想の対立があった。デュビュッフェは、作品そのものに価値があるとみなし、愛したのだが一方、ブルトンたちシュルレアリストには、アウトサイダー・アートを制作するひとの狂気への興味が優先し、それがいかに自分たちの作品と近いかを参照する手段として、アウトサイダー・アートはあった訳である。
1951年、ジャン・デュビュッフェの蒐集したコレクションは、戦後に知り合った友人の画家、アルフォンソ・オッソーリオの勧めにより、ニューヨーク近郊のイーストハンプトン(英語版)のオッソーリオの邸宅で保管されることになった。この頃、ジャン・デュビュッフェは自らの創作活動に力を注ぎ、アウトサイダーアートの蒐集にはほとんど取り組まなかった。また、オッソーリオに対し、アメリカ合衆国のアウトサイダー・アートの発掘の促しにオッソーリオは応じず、コレクションは増えなかった。だがこの寄贈(と1951年のシカゴでのデュビュッフェの講演)がアメリカ、中でもシカゴ・イマジスト(英語版)にアウトサイダー・アートへの関心を持たせることとなった。
1950年代末からデュビュッフェは活動を再開し、1962年にコレクションをイーストハンプトンからパリへと戻すと、アール・ブリュット協会も復活させた。