第二次世界大戦中にIOC会長を務めていたアンリ・ド・バイエ＝ラトゥールの死後、1945年にブランデージはIOC副会長に就任した。このときのIOC会長はジークフリード・エドストレームであったが、彼が1952年に引退すると、ブランデージが後任となった。IOC会長在任中のブランデージは、いかなる形であれオリンピックにプロフェッショナリズムが持ち込まれることに強く反対した。しかし、この態度は次第にスポーツ界からも、また他のIOCメンバーからも賛同を得られなくなっていった。こうした変化はいくつかの議論を起こすような事件によって引き起こされたものであった。その一つとして、1972年冬季札幌オリンピックでオーストリアのカール・シュランツが、プロであるとの理由で競技から排除された事件がある。また、1968年の夏季メキシコシティーオリンピックでは、トミー・スミスとジョン・カーロスがメダル授与式において、ブラックパワー運動への賛意として拳を突き上げるパフォーマンスを行った。これに対してブランデージは、両選手を選手村から追放し、出場停止処分とした。
1936年のベルリンオリンピックではユダヤ系ドイツ人が排除されたため、これをボイコットしようとする動きが盛んであったが、USOCの会長だったブランデージはそれらの動きをすべて否定した。そして、選手に対して同オリンピックのボイコットを働きかけていたアーネスト・リー・ヤンキーが国際オリンピック委員会（IOC）理事会から放逐されると、ブランデージはその後釜となった。同オリンピックの400mリレー競技では、当日の朝になってアメリカ代表のマーティ・グリックマンとサム・ストラーがチームから外され、ジェシー・オーウェンズとラルフ・メトカーフに交代する事件が起きた（アメリカのトラック競技代表チームの中で、グリックマンとストラーの2人だけがユダヤ系であった）。グリックマンは後年になって、その決定がブランデージの圧力によるものであった可能性を語っている。ブランデージは後にドイツのアドルフ・ヒトラー率いるナチス体制を賞賛する発言を行い、これがドイツ支持であるとして、アメリカ優先委員会から除名された。
1928年、ブランデージは全米体育協会（AAU）の会長となり、翌1929年にはアメリカオリンピック委員会（USOC）の会長に就任した。また1930年には国際陸上競技連盟（IAAF）の副会長の座に就いた。
ブランデージは万能型のスポーツ選手で、1912年夏季ストックホルムオリンピックでは近代五種競技と十種競技に出場、それぞれ6位と16位に終わった。また1914年、1916年、1918年に全米選手権で優勝した。
ミシガン州デトロイトで生まれたブランデージは、イリノイ大学アーバナ・シャンペーン校で土木工学を学び、1909年に同大学を卒業した。数年後、ブランデージは自身の会社であるアベリー・ブランデージ社を設立、1947年までシカゴ周辺で建設業を営んだ。
1930年代、満州事変以降、英米との関係が悪化して日本の国際的な孤立化が進むと、「南進」はその後の国策の有力な選択肢の一つと考えられるようになり、場合によっては武力を伴ってでも実施すべきものであるとされた。1936年8月7日、廣田内閣の五相会議で対外問題を中心とする重要国策が決定された。その内容は公表されなかったが、帝国の根本国策が「外交国防相まって東亜大陸における帝国の地歩を確保するとともに南方海洋に進出発展するに在り」とされ、「東亜共栄圏」の盟主構想が、南方進出の方針として重要国策と決定された。これによって海軍の南進論が力を得てきた。一方で、陸軍を中心にソ連の打倒を目的とする「北進論」も有力であった。しかしながら、1939年におけるノモンハン事件の結果や同時期の独ソ不可侵条約締結を受け、この論調は勢力を次第に失っていった。武力南進が実際に国策として決定されたのは1940年のことである。この時日中戦争の泥沼に陥っていた日本は、1940年4月から6月のドイツの電撃戦により東南アジアに植民地を持つオランダ・フランスがドイツに降伏し、イギリスも危機に瀕していたため、このことを利用して東南アジアを自己の勢力を組み込めば危機的状況から脱出できると考え、武力南進を決意した。この武力南進は陸軍省軍務局長の武藤章の発案に基づき企画院の鈴木貞一が調査企画を行ったが周到に準備された国策というよりは泥縄式に決められた政策であった。7月27日の大本営・政府連絡会議で、場合によれば武力を行使しても東南アジアに進出することが決められた。日本の武力南進の最初はフランス領インドシナで、当時のインドシナは中国国民政府（蒋介石政権）に対する英米の支援ルートになっており、日本軍はフランスとの合意に基づき1940年9月この地に進駐した（仏印進駐#北部仏印進駐）。翌1941年6月、日本の同盟国であったドイツが独ソ不可侵条約を破ってソ連に侵攻すると、当時の第2次近衛内閣では、4月に締結された日ソ中立条約を破棄してでも同盟国としてソ連と開戦し挟撃すべきとする松岡洋右外務大臣と近衛文麿首相との間で閣内対立が起きる。近衛は松岡の「北進論」を退けて内閣を総辞職し、改めて第3次近衛内閣を組閣して南進論の立場を確認した。7月、南部仏印への進駐を実行すると、アメリカ合衆国は石油の全面禁輸に踏み切る。この反応は日本政府の予想外のもので、これを契機に日米関係は悪化、最終的には対米戦争に突入する直接の原因となった。同年9月6日御前会議でイギリスやオランダ、アメリカが支配する南方へ向かう「帝国国策遂行要領」が決定され、南進論が正式に国策とされた。これには近衛内閣の内閣嘱託としての尾崎秀実（ゾルゲ諜報団のメンバー）による働きかけも有効であった。