スポーツ以外の分野においては、ブランデージはアジア美術の蒐集家として名をはせた。収集は、1927年に日本の根付を購入したことに始まり、最終的には絵画、陶器、彫刻、青銅器、翡翠や木造彫刻、象牙の彫り物などアジア全域の美術品を集めた膨大なコレクションを作り上げた。1950年代の終わりにはそのコレクションは個人の手には負えない規模になっており、ブランデージは自分のコレクションを美術館に、それもアジアへの窓口となる西海岸の美術館に寄贈することを考え始めた。まず、カリフォルニア大学バークレー校と、スタンフォード大学が候補となったが、ブランデージのコレクションの量は両大学が扱える範囲を超えていた。結局ブランデージはコレクションをサンフランシスコ市に提供することを申し出、市側もこれを熱意を持って受け入れた。1959年双方は合意書に署名、市はゴールデン・ゲート・パークにあるデ・ヤング美術館に併設する新館建設の資金を集めること、寄贈された作品をアベリー・ブランデージ・コレクションと名付けることなどを約束した。1966年には公開が始まり、数回、また遺贈としても、自身のコレクションをサンフランシスコ市に寄贈している。約7700点。その日本絵画コレクションは、特定分野、特定画家への作品集中度にはやや欠ける傾向にあるが、逆に言えばある特定の分野に偏っておらず、ブランテージ自身が慎重に選びぬいた優品が揃っている。これらの寄贈物を保存・展示する場所としてサンフランシスコ・アジアン・アート・ミュージアム (Asian Art Museum of San Francisco) が設立された（2003年時点で、なお過半数がブランデージの寄贈物で占められている）。
ブランデージはミュンヘンオリンピック後にIOC会長を退いた。ブランデージは2006年現在に至るまで、IOC会長を務めた唯一のアメリカ人である。IOC会長を退任して3年経った1975年、ブランデージは西ドイツ（当時）のガルミッシュ＝パルテンキルヒェンで死去した。1972年の第11回冬季オリンピック札幌大会開催の功績に感謝し、札幌市の藻岩山神社に祭神として祀られている。
ブランデージの名を特に世間に知らしめた事件として、1972年夏季ミュンヘンオリンピックにおける決定がある。9月5日にパレスチナ過激派が選手村を襲い、ユダヤ人国家であるイスラエルの代表選手11人が殺害されたミュンヘンオリンピック事件の後、ブランデージはオリンピック開催を継続する決定を下したのである。ブランデージへの非難は多かったものの、オリンピックから去る選手はほとんどいなかった。9月5日の競技は全て順延となり、翌日にはオリンピックスタジアムにおいて、8万人の観衆と3千人の選手たちによって追悼式が営まれた。多くの聴衆の怒号が渦巻く中、ブランデージは追悼演説において殺されたイスラエルの選手には一切言及せず、代わりにオリンピック運動の強さを賞賛した。ブランデージは、アパルトヘイト政策を理由にローデシアがオリンピックから除外されていることに対して、強い反対を唱えていた。ミュンヘン事件の後、ブランデージはイスラエル人選手が殺害されたことと、ローデシア人選手に門戸を閉ざすことは、同じレベルの犯罪的行為であると主張した。
6月26日、コビアは最初の哨戒で小笠原諸島に向かった。7月6日夜、コビアは北緯28度25分 東経151度46分の地点で400トン級特設監視艇を発見し、浮上砲戦で撃沈した。7月9日朝には、北緯24度52分 東経141度18分の硫黄島近海で未確認艦船と「吹雪型駆逐艦」を発見し、魚雷を1本だけ発射したが命中しなかった。7月13日朝、コビアは北緯27度27分 東経140度32分の地点で輸送船団を発見し、魚雷を3本発射。魚雷は海軍徴傭船大慈丸（大阪商船、2,813トン）に1本が命中し、硫黄島行きの第26戦車連隊を輸送中の大慈丸は間もなく沈没した。7月18日未明、北緯29度15分 東経139度05分の地点でコビアのレーダーは一つの目標を探知する。接敵の末に魚雷を4本発射し、2本を特設運送船第十雲海丸（中村汽船、851トン）に命中させて撃沈した。第十雲海丸は、硫黄島行きの第3714船団から遅れて追及中だった。プライス (USS Plaice, SS-390) からの情報により、第3714船団の本隊らしい目標が東にあること教えられ、折からのスコールの中を追跡した。やがて7時ごろに北緯28度40分 東経139度25分の地点で第3714船団に追いついたコビアは、艦首発射管から魚雷を6本、艦尾発射管から魚雷を4本それぞれ発射し、魚雷は陸軍輸送船日秀丸（日産汽船、7,785トン）の船尾に命中して、搭載していた28両の戦車、兵員の装備品とともに沈んだ。7月20日夜、コビアは北緯28度06分 東経141度32分の地点で3つの目標を探知し、魚雷を2本発射したが命中せず、次いで砲撃戦に移る。そのうちの一隻が衝突しコビアは船体を小破しつつも、海軍徴傭船第三郵船丸（郵船近海機船、193トン）と小型輸送船2隻を撃沈した。8月には入るまでの間はピンタド (USS Pintado, SS-387) 、シャーク (USS Shark, SS-314) およびガトー (USS Gato, SS-212) からの船団接触情報に基づいて哨戒を続けるも、目標は見当たらなかった。8月5日未明、コビアは北緯27度09分 東経142度33分の地点で「500トン級哨戒艇」を発見し、魚雷を2本発射して1本が命中。この攻撃で海軍徴傭船弥生丸（図南汽船、495トン）を撃沈し、生存者をコビア最初の捕虜とした。8月14日、コビアは49日間の行動を終えてマジュロに帰投した。