藤田组有密切联系，在财界也有强有力的发言权。最后成为三井财阀的最高顾问，被讥为“三井的掌柜”。
逸事.很多人误会井上馨是吉田松阴开设的松下村塾学习，其实他没有在松下村塾读书而是在长州藩校明伦馆学习。不过井上馨受到松下村塾的学生高杉晋作影响，令其政见与吉田松阴相近，所以很多人才误会井上馨是吉田松阴弟子。