森有礼出生于鹿儿岛的武士家族，兄横山安武。早年随着兄长学习汉学，随川上八郎左卫门学习天真流剑术。1865年，森有礼被鹿儿岛藩选派赴英国留学，在伦敦大学学院学习近代科学（数学、物理和化学），同学中有后来着名的企业家、政治家五代友厚。1866年，明治维新在日本发动，森有礼很受鼓舞也很关心。1868年6月，森有礼回到日本。同年7月，出任征士外国官权判事。回国后于1873年与福泽谕吉、西周、西村茂树、中村正直、加藤弘之、津田真道、箕作麟祥等创办了“明六社”，从事启蒙。1875年，森有礼在东京银座尾