1901年にオーストラリアは連邦制となり、同時に移住制限法、帰化法、太平洋諸島労働者法等を成立させ、白豪主義政策が完成していく。連邦政府の最大の問題が移民労働者問題であった。しかし1902年の日英同盟に帰結する英国の対日政策においては、ロシア帝国南下からの防衛という意味でも、日本が地政的に重要であったため、英植民地相のジョセフ・チェンバレンは豪連邦初代首相エドマンド・バートンに対して、極東の情勢を配慮することを秘密書簡で要求した。日本政府はすでに移住制限法に対し、ロンドンとシドニーの在外公館を通じて抗議を行っていた。しかし白豪主義の強硬論が豪議会でも根強く、当時の代表的な白豪主義の論客で、のち第2代首相にもなったアルフレッド・ディーキンは「日本人は優秀であるがゆえに危険であり、排除されねばならない」として、バートンの対日政策を撤回させた。以降、日英同盟が破棄されるまでの約20年間、オーストラリアはイギリスと日本との間に摩擦を持つことになった。日英同盟は安全保障、貿易の観点から歓迎されるべきだとバートン首相はメルボルンの日刊紙『エイジ』（1902年2月14日）にコメントを寄せ、しかし白豪政策は堅持する、とした。これに対し大衆紙『ブレティン』は「英帝国が白いヨーロッパ（ロシア）に対抗する目的で有色国家と同盟を締結することはきわめて不名誉である」とした。『ブレティン』紙の白人至上主義は世論形成にその後まで相当の影響を与え続けた。日露戦争の間には反ロシア感情から親日論が台頭し、1904年には日豪パスポート協定が結ばれるが、のちにイギリスがドイツ帝国との対立関係を深めて行く中、日本とドイツの同盟のシナリオが想定され、日本脅威論が復活していく。こうして、白豪主義的体制が確立されていき、1940年頃にその有色人種の国内人口に占める割合は最も小さくなった。第二次世界大戦中にはアメリカの黒人部隊の上陸を拒否したほどである。
白豪主義は、大英帝国が1788年、オーストラリア大陸を植民地化して、アボリジニを征服・迫害したことに始まる。入植者によって、多くのアボリジニの人々が免疫の無い病気に晒され、また、スポーツハンティングの延長としてアボリジニを殺害したケースすらあった。タスマニアでは一列に並んで島を縦断し、拉致確保した先住民以外は殲滅されたともいわれ、19世紀後半には純血のアボリジニ・タスマニア島民は絶滅したともいわれる。1870年代にはクイーンズランド州で砂糖産業が成長し、ソロモン諸島、バヌアツ、サモア、キリバス、ツバルなどの太平洋諸島のカナカ人（Kanakas）らが年季奉公として徴募される。また強制連行ないし誘拐もあったとされる（こうした奴隷貿易的行為はBlackbirdingといわれる）。連行されたカナカ人らはクイーンズランドやフィジーの砂糖農園（プランテーション）で労働に従事した。1920年には、豪政府は先住民族の保護という名の人種隔離政策も行った。これらによりアボリジニ人口は90%以上減少した。1910年頃から1970年代にかけて、アボリジニの子供を親元から引き離し、白人家庭や寄宿舎で養育するという政策も行われた。アボリジニの子供も白人の「進んだ文化」の元で立派に育てられるべきという独善的な考え方に基づくもので、政府や教会が主導して行った。子供のおよそ1割が連れ去られ、結果として彼らからアボリジニとしてのアイデンティティを喪失させることとなった。彼らは「盗まれた世代」（Stolen Generation）と呼ばれている。他方、白人が住みたがらなかった不毛な乾燥地域である内陸部のアボリジニは、周辺の厳しい自然環境に守られながら、どうにか固有文化を維持し続けた。今日でもアボリジニ文化の史跡は、沿岸部都市より隔絶された内陸地に多く残る。近年のアボリジニ激減に加えて、文字文化を持たなかったことから、文化的痕跡を残さず消滅した部族も多く、彼等の言語や文化の系統を調査する試みは進んでいない。音声的に完全に失われた言語も多く、それらの民俗学的調査は「既に大半のピースが失われたパズル」になぞらえられている。
白豪主義（または白濠主義、はくごうしゅぎ、英: White Australia policy）とは、オーストラリアにおける白人最優先主義とそれに基づく非白人への排除政策である。狭義では1901年の移住制限法制定から1973年移民法までの政策方針を指す。広義では、先住民族アボリジニやタスマニア州のオーストラロイド系住民やカナカ人などのメラネシア系先住民への迫害や隔離など、オーストラリアにおける人種差別主義の歴史全般を指す。
東京市神田区東紺屋町（現在の東京都千代田区神田東紺屋町）に鳶職の息子として生まれた。1933年に立教大学経済学部予科を卒業後、1935年に義兄の経営する神戸の貿易商「アサヒ商会」に入社する。同年、松竹の俳優募集に応募し、1000人の中から1人合格し1936年松竹に入社。「大船撮影所1期生」として、同年の佐々木康監督の『Zメン青春突撃隊』で俳優デビュー。立教大学の先輩上原謙とともに、幹部スター候補生として、主役格で使われ、1937年には早くも準幹部に昇格し、島津保次郎監督の『婚約三羽烏』で、上原謙、佐分利信とともに「松竹三羽烏」として共演し、スターの地位を決定的にした。1938年には幹部に昇格し、名実共に松竹を背負って立つ存在となった。その後、人気絶頂だった1941年から、終戦まで3度召集される。その間も、その間隙を縫うように、野村浩将監督、李香蘭主演の『蘇州の夜』、小津安二郎監督の『父ありき』などの作品に出演するなど、人気を保ったが、私的には妻と長女をなくし試練の時となった。戦後になっても二枚目スターとして活躍し、重厚な演技を持ち味に木下惠介監督の『お嬢さん乾杯!』、『カルメン故郷に帰る』、吉村公三郎の『春雪』などに出演する。特に、小津安二郎の『風の中の牝鶏』では田中絹代と共演し、子供の医療費のために一度だけ売春した妻への、怒りに苦しむが愛情を取り戻していく帰還兵を演じ新境地を切り開いた。猪俣勝人は『日本映画俳優全史』で、戦後は戦前の甘さ爽やかさが失われたと評し従軍体験の翳を嘆いているが、むしろ少し粗野な味やユーモアを加えて幅を広げた演技は『お嬢さん乾杯!』などで引き出されている。1953年にはフリーとなり、五所平之助の『大阪の宿』や成瀬巳喜男の『驟雨』などに出演し、演技派俳優として確固たる地位を確立する。1954年には、俳優の生活安定を図る目的で「まどかグループ」を佐田啓二、桂木洋子、三井弘次らと設立し、映画制作も手がける。1965年以降はテレビにも活躍の場を広げ、主に温厚な父親役で親しまれた。1978年12月21日、急性心不全のため66歳で死去した。