出身.为武州日野宿北原（现在东京都日野市日野本町）八王子千人同心(官名)世话役井上藤左卫门的三男。哥哥井上松五郎则是和父亲一样为千人同心(官名)。
试卫馆.弘化4年（1847年）时、源三郎进入当时位于多摩正在扩张的天然理心流剑术第三代宗家・近藤周助的道场。后他也在土方岁三的姐夫佐藤彦五郎为了天然理心流出外练习所设的道场中与土方一起练习剑术。源三郎与近藤勇是师兄弟，所以两人在这段时期有着亲密的往来和友情。万延元年（1860年），井上得到免许皆传的身份。