弟は新選組六番隊長の井上源三郎。