日本動物園水族館協会（日動水・JAZA)は環境省とは別に、「過度な擬人化は倫理要綱に抵触する」としてパンくんの取り扱いに関する見直しを園に求めたが、2008年、12月（毎日）または11月（朝日）に園に対し退会を勧告した。それに対して2009年1月、園側は「動物の様子を来場者に喜んでもらうという事業方針と相いれない」として退会した。日動水会長・上野動物園園長の小宮輝之は、「成獣に近い希少動物のチンパンジーを見せ物にすることは繁殖活動にも影響が出る」と懸念を表明している。一方、「天才!志村どうぶつ園」を放送する日本テレビは、「専門家やトレーナーと協議を重ねながら負担のないよう注意深く対応してきた。擬人化については、引き続き専門家に判断を仰ぎながら検討していきたい」と出演を続ける意向を示し、2011年にもパンくんはテレビに出演を続けた。
2005年8月5日の環境大臣の小池百合子(当時)の記者会見において、パンくんの「繁殖目的での譲渡」に関して「種の保存法」の本来の目的から逸れているとして、公益社団法人日本動物園水族館協会（以下「日動水」と略す）を通じて事情を聞くと発表された。チンパンジーは「種の保存法」によって、学術研究・展示・繁殖、その他省令で定める目的に限って許可を得ての譲渡が可能であるが、環境省はパンくんとは明言していないながらも、チンパンジーに繁殖をさせる体制がとられていない恐れがあるとして行政指導を行っている。
日本テレビの『天才!志村どうぶつ園』は志村けんを伴って、2012年10月にパンくんを訪れ、その模様が2012年12月22日に放送された。トレーナーの宮沢厚が志村にパンくんに会って欲しいと話し、志村も、一般見学者と同様にガラス越しにチンパンジーと対面した。志村はパンくんの住処には入れなかったが、パンくんはしきりに番組で習った技を披露した。「パンくん、ごめんね。褒めてやりたいけど…」と志村は語りかけた。また、「パンくんに子どもができるのを待つしかない」とも語った。帰り道の志村の顔は、安堵の表情をしていた。志村は事故に際して、「私達のなかでは パン君 大好き いい子です 放送しなくてもパン君に 会いに行きます」、「そのアシスタントの女性にも 癒しに行きたい 動物は優しいよって 人は動物からどんだけ癒されるか」とも書いている。2013年1月の放送では、パンくんとポコちゃんが登場し、風邪予防ということで与えられたネギを食べた。パンくんはネギが大好きなのか、たくさん食べたシーンが放送された。同年3月の『天才!志村どうぶつ園』は番組10周年と題し、過去のパンくんの登場する映像を放送している。
東京府（現東京都）生まれ。1957年11月、慶應義塾高等学校1年生の時、東京都から茅ヶ崎市に転居したが、これが縁で同年12月23日にアメフト部の先輩の紹介により俳優上原謙のクリスマス・パーティーに誘われ、当時慶應義塾大学2年生だった加山雄三に出会い、音楽面のみならずプライベートでも親交を深めるようになる。慶応義塾大学在学中の1961年に、初めてのバンド「ザ・トップビーツ」を結成する。その後ホリプロに所属し、清野太郎、かまやつひろしらと「キャノンボール」を結成。1963年には事務所の指示により、かまやつと共にザ・スパイダースに加入するも、寺内タケシの誘いで約3か月後に脱退し、寺内タケシとブルージーンズに加入した。1966年、ビートルズの来日公演でブルージーンズが前座を務めることになったが、警備上の措置として、前座のバンドは演奏終了後、楽屋に監禁され、ビートルズを見ることや演奏を聴くことが出来ない状態になっていたため、客席からビートルズを見たかった加瀬はブルージーンズを脱退した。所属していたホリプロはそれでも、加瀬を引きとめ給料を支払い続けていたが、「ただで給料をもらうのも申し訳ない」と同年7月に、加山雄三が名付け親となるザ・ワイルドワンズを結成（この時、渡辺プロに移籍）。得意の12弦ギター（ヤマハ特注）は、ワンズサウンドの要となる。解散後は、PYG（ピッグ）や井上堯之バンドともかかわりを持ち、作曲家としてだけでなく、沢田研二のプロデューサーとなる（衣装早川タケジ、作詞家糸井重里の起用、パルコCFへの出演推進など功績は多岐にわたる。井上バンド解散後も沢田を支え続けた）。1981年1月、日本劇場取り壊しに伴う最後の日劇ウエスタンカーニバルにザ・ワイルドワンズ（加瀬、鳥塚茂樹、島英二、植田芳暁、渡辺茂樹）のメンバー5名が集結して出演したことを契機として、ザ・ワイルドワンズの再結成話が持ち上がり、仕事の都合で参加を辞退した渡辺を除くメンバー（加瀬、鳥塚、島、植田）4名でザ・ワイルドワンズを再結成した。一時期、渡辺茂樹と共にタイガース・メモリアル・クラブ・バンドにも在籍した。“ケネディハウス銀座”のオーナーや、加山雄三&ハイパーランチャーズのプロデューサーとしても活躍した。1994年に食道癌の手術をしたことを著書で明かしていた。2014年には下咽頭癌を発症し、手術後は自宅療養していた。2012年4月21日、ももいろクローバーZの横浜アリーナでのライブ公演『ももクロ春の一大事2012 〜横浜アリーナ まさかの2DAYS〜』の一日目に百田夏菜子 With ザ・ワイルドワンズとして参加。加瀬が百田夏菜子の為のソロ曲として作詞・作曲した「渚のラララ」を披露した。2015年4月20日午後9時、自宅にて自殺を図り、死亡した。74歳没。呼吸用のチューブがふさがれた状態で発見された。通夜は27日に葬儀委員長を鳥塚しげきらザ・ワイルドワンズのメンバーが務めて護国寺で営まれ、音楽仲間の寺内タケシ、高木ブー、中村あゆみ、モト冬樹、エド山口、江木俊夫らが参列した。翌28日葬儀・告別式が営まれ、岸部一徳、森本太郎、瞳みのる、つのだ☆ひろなど関係者300人が参列し、仕事の都合で葬儀に参列できなかった加山雄三は音声メッセージで加瀬を哀悼した。戒名は常樂院悠照清邦居士。同年、第57回日本レコード大賞・特別功労賞が贈られた。