弘化4年（1847年）时、源三郎进入当时位于多摩正在扩张的天然理心流剑术第三代宗家・近藤周助的道场。后他也在土方岁三的姐夫佐藤彦五郎为了天然理心流出外练习所设的道场中与土方一起练习剑术。源三郎与近藤勇是师兄弟，所以两人在这段时期有着亲密的往来和友情。万延元年（1860年），井上得到免许皆传的身份。
新选组.文久2年2月，与近藤和土方一起进入由清河八郎所策画组织的浪士组。文久3年9月，在肃清芹泽鸭一派后，成为副长助勤，以后继续担任新选组的干部。因为经常辅助同乡兼同门的局长近藤和副