夫佐藤彦五郎为了天然理心流出外练习所设的道场中与土方一起练习剑术。源三郎与近藤勇是师兄弟，所以两人在这段时期有着亲密的往来和友情。万延元年（1860年），井上得到免许皆传的身份。
新选组.文久2年2月，与近藤和土方一起进入由清河八郎所策画组织的浪士组。文久3年9月，在肃清芹泽鸭一派后，成为副长助勤，以后继续担任新选组的干部。因为经常辅助同乡兼同门的局长近藤和副长土方，所以获得他们大大的信任。在队内的主要工作则是担任对外的职务以及招待要人。元治元年6月池田屋事件时，指挥土方队的