10代の頃から島田虎之助に入門し剣術・禅を学び直心影流剣術の免許皆伝となる。16歳で家督を継ぎ、弘化2年（1845年）から永井青崖に蘭学を学んで赤坂田町に私塾「氷解塾」を開く。安政の改革で才能を見出され、長崎海軍伝習所に入所。万延元年（1860年）には咸臨丸で渡米し、帰国後に軍艦奉行並となり神戸海軍操練所を開設。戊辰戦争時には幕府軍の軍事総裁となり、徹底抗戦を主張する小栗忠順に対し、早期停戦と江戸城無血開城を主張し実現。明治維新後は参議、海軍卿、枢密顧問官を歴任し、伯爵に叙せられた。