在姨夫吉田东洋的少林塾学习。安政5年（1858年）吉田推举象二郎担当幡多郡奉行，文久元年（1861年）任御近习目付，其后又担任普请奉行（类似于现代政府招标主管），文久2年吉田被暗杀后赋闲。文久3年（1863年）复归藩政。藩主山内容堂派其前往江户开成所学习兰学，航海和英学。元治元年（1864年）被任命为大监察。后藤作为公武合体主要倡导者在镇压土佐勤王党中起了关键作用。庆应3年（1867年），后藤象二郎的政治主张转为攘夷。在长崎和尊皇派坂本龙马会谈后，打算以龙马提议的船中八策通过山内容堂向德川庆喜进言大政奉