ブライアンはビートルズのアルバム『ラバー・ソウル』に衝撃を受け、対抗心を燃やした。そして、当時ポップ・ミュージックとしては珍しい完全なコンセプト・アルバムを作ることを考えた。これが『ペット・サウンズ』である。しかし、それまでの彼らのイメージとはかけ離れていた作品であるため、契約していたキャピトル・レコードから敬遠され、保守的な米国のファンにもなかなか受け入れられなかった。全米チャートでは10位にランクインし、早々に50万枚を売り上げたが、それまでの作品に比べて売上の伸びない状況に不満を感じたキャピトル・レコードは、ペット・サウンズの発売後すぐに、それまでのヒット曲を集めたアルバム『ベスト・オブ・ザ・ビーチボーイズ』を発表した。ベスト盤は瞬く間に100万枚を売上げ、ペット・サウンズよりもヒットしてしまう結果となった。この事実にブライアンは酷く傷つき、その傷はその後長くブライアンを蝕むことになる。しかしイギリスでは米国の反応と異なり好評であり、アルバムは全英初登場2位記録し、シングルがヒットチャート上位にランクインする結果となった。また、元ビートルズのポール・マッカートニーや、ザ・フーのピート・タウンゼント、エリック・クラプトンが好きなアルバムとして挙げるなど、一部には理解者がいたが、このアルバムが見直されるには、かなりの時間が必要だった。スタジオでの完全主義ゆえに彼は『ペット・サウンズ』以上の作品を作り出さなければならないという強迫観念に駆られ、ビートルズの『サージェント・ペパーズ・ロンリー・ハーツ・クラブ・バンド』の録音と期間が重複していた『スマイル』の制作中にノイローゼになった。一日の大半をドラッグとアルコールに依存するようになったブライアンは、アルバム内の曲「エレメンツ」録音時にスタジオ内で消防士の格好をしたり、キャピトルの重役夫人を悪魔呼ばわりしてその重役のスタジオ入りを拒否したり、奇行が見られるようになった。また、スタジオでのエフェクトに凝り始めたブライアンと、グループの持ち味であるボーカル・ハーモニー路線を支持したマイクを始めとする他メンバーとの方向性に対する対立も深まった。モジュラー・レコーディングといういくつかの（実際には、中間部が異なる各曲数十テイクに及ぶ）テイクの断片を組み合わす方式は、編集段階でもさらに精神的混乱を巻き起こした。『スマイル』はキャピトル・レコードの再三のリリース要求にもかかわらず結局完成せず、1967年5月にキャピトルはこのアルバム発売をキャンセルした。キャピトル・レコードは、アルバムをリリースさせるために、レコーディングの途中にもかかわらずジャケットを印刷してプレッシャーを与えようとしていたが、大半が破棄された。『スマイル』用の曲のうちのいくつかは『スマイリー・スマイル』に収録されたが、そのバージョンは厳密には『スマイル』録音時のテイクではなく、ブライアンがドロップアウトした後に他のメンバーが手早くでっち上げた断片や残骸とでもいうべきものであった。当然、40年後にアウトテイクも含んだ形で発表されたボックスセット『グッド・バイブレーションズ・ボックス』に収録された同名の曲たちとは比べものにならない完成度で、「英雄と悪漢」、「グッド・ヴァイブレーション」（1966年ビルボードシングルチャート全米No.1）といった傑作曲が収録されたものの、『スマイリー・スマイル』の評価は惨憺たるものであった。ブライアンが『スマイル』を放棄した後に、残りのメンバーが作り上げた『スマイリー・スマイル』が、彼らが嫌ったサイケデリック色の強いアルバムとなったのは皮肉な結果であった。ブライアンの精神状態の悪化や事実上のドロップアウトにもかかわらず、バンドはさらに活発に活動を続けた。『ワイルド・ハニー』『フレンズ』『20/20』までの作品をキャピトル・レコードで発表した。ただし、ブライアン以外のメンバーも平穏な生活を送っていたわけではない。この時期デニスは、後に女優シャロン・テート惨殺事件を起こすチャールズ・マンソンと共同生活を送った上に、楽曲の共作まで行っている。これは事件後スキャンダルとなった。
近藤衛は、アメリカの社会学者ロザベス・カンターが19世紀のアメリカで栄えたユートピア集団（シェイカー en:Shakers、ハーモニー、アマナ、ゾアル、ソウノウヒルなど）の特徴として挙げている「脱会しても拠出した財産を返還しない」、「親子が分離して生活する」、「プライバシーの余地がない」など100の項目のうち、およそ90%が幸福会ヤマギシ会についても当てはまると指摘し、ユートピア集団と多くの類似点がみられると述べている。近藤は、幸福会ヤマギシ会を「歴史的にも類をみない特異なユートピア集団」であり、そのような集団を組織できた要因は創始者である山岸巳代蔵の思想にあったと分析している。山岸は、食糧増産のためにと伝授を求められた独自の養鶏技術を「真の幸福社会建設のため」秘匿し、養鶏よりも精神論を説き、精神論に耳を傾ける者にのみ若干の技術を教えた。技術を会得しようとする者は研鑽会を開き、山岸自身の難解な言葉の中から「真理」を得ようと必死になった。近藤は、「秘密」の存在をほのめかすことで山岸が人心を掌握していったのだと分析し、その後も「秘密の呪縛」が組織を維持する原動力になっていると推察している。さらに近藤によると、山岸の言葉には矛盾が多く、後に幸福会ヤマギシ会は山岸の言葉のうち組織運営に都合のいいものを選んで会員の〈観念〉を操作しようとした。近藤は「ユートピア共同体が成立するには、外部社会とその集団を隔てる『境界』が高く設定されなければならない」とし、1998年（平成10年）10月に「村から街へ」をスローガンに40歳以上の参画者を外部社会に送り出す方針を打ち出したことで幸福会ヤマギシ会と外部社会とを隔てる境界は弱められ、会のユートピア集団としての存立基盤に変動が生じる兆しが出てきたと指摘している。近藤は特別講習研鑽会の中で冒頭部に「宗教に非ず」と書かれたテキストが配布された経験を明かし、「『宗教に非ず』と断ること自体、ヤマギシ会がいかに既存の宗教団体と似ているかを示している」とも述べている。ジャーナリストの斎藤貴男は「その宗教性は否みようもない」としつつ、ヤマギシ会側は宗教を固定観念だと非難し、宗教団体として扱われることに強い反発を示すと指摘している。米本和広は、変性意識状態に陥った山岸巳代蔵が脳内に思い浮かべ、他の人たちと共有したいと願った「現実世界とは異なる『真実の世界』」としてのユートピア社会こそが幸福会ヤマギシ会の本質であると推測し、変性意識状態を他の者にも体験させるために考案されたのがヤマギシズム特別講習研鑽会であり、「『特講』で解離状態になった」ときに脳に浮かんだイメージ上のユートピア社会を、実際にこの世に顕した『村』」がヤマギシズム社会実顕地であるとしている。その上で米本は、幸福会ヤマギシ会を「『イメージ世界』に私たちを引きずり込み、自分たちと同じような脳内回路をもった人間を仕立て上げようとする」集団であると定義する。米本によると、イメージ世界を共有できている者とできていない者とでは物の見え方すら異なる。米本は、「イメージを現実化した村」、「『日本国』のなかにありながら日本とはまったく別の国家内国家」というべき集団が数十年の間発展したことを「驚異」、「正直なところ畏敬の念すら覚える」と述べている。他方、島田裕巳は、「ヤマギシ会の実顕地を作りだしたのは日本人であり、そこには個人を集団と融合させることに価値をおく日本的な価値観が生きている」と述べている。