カナダ保守党
ブラウンはオンタリオ州シムコー郡にて、4人兄弟の長男として生を受けた。父フランク・オーガスト・ブラウン(Frank August Brown)はアメリカとの農作物取引に成功し財を成した人物で、地方政治にも積極的に参加しておりカナダ自由党の改革政策を支持していた。しかし、息子ブラウンは「大英帝国のためのカナダ」を支持するカナダ保守党支持者となり、カナダに影響を及ぼさんとするアメリカの意図に深い不信感を抱き始めた。