土方一起练习剑术。源三郎与近藤勇是师兄弟，所以两人在这段时期有着亲密的往来和友情。万延元年（1860年），井上得到免许皆传的身份。
新选组.文久2年2月，与近藤和土方一起进入由清河八郎所策画组织的浪士组。文久3年9月，在肃清芹泽鸭一派后，成为副长助勤，以后继续担任新选组的干部。因为经常辅助同乡兼同门的局长近藤和副长土方，所以获得他们大大的信任。在队内的主要工作则是担任对外的职务以及招待要人。元治元年6月池田屋事件时，指挥土方队的支队，在接获近藤队攻入后与十名队员一起进入池田屋