Battle of New Orleans
バトラーはニューハンプシャー州ディアフィールドで、米英戦争の時に（ニューオーリンズの戦い）アンドリュー・ジャクソンの下で仕えたジョン・バトラー大尉の息子として生まれた。アメリカ合衆国建国の父ベンジャミン・フランクリンに因んで名付けられた。父の死後、母のシャーロット・エリソン・バトラーはマサチュセッツ州ローウェルで下宿屋を営んだ。メイン州のウォータービル・カレッジ（現在のコルビー大学）で学び、1838年に卒業した。1840年にはマサチューセッツ州法廷弁護士として認められ、ローウェルで法律実務を始め、間もなく特に刑法事件の弁護士として頭角を現した。1842年に舞台女優でイズラエル・ヒルドレス博士の娘サラ・ヒルドレスと結婚した。夫妻の娘ブランチは南北戦争で北軍に従軍したミシシッピ州上院議員アデルバート・エイムズと結婚した。