彬的赞赏，成为其侧近。岛津齐彬让他负责集成馆事业，积极引进西洋技术以增强藩的实力。1857年，市来四郎使用西方的银板摄影法，为岛津齐彬拍了日本历史上第一张相片。这张照片已被日本政府认定为国宝。同年，市来四郎奉命岛津齐彬之命秘密前往琉球，会见日帐主取向永功（牧志亲云上上朝忠）、物奉行向汝霖（恩河亲方朝恒）等人，要求琉球帮助萨摩藩，向法国购买军舰。不过同年齐彬便逝世了，购买军舰一事不了了之。齐彬死后，市来四郎又成为萨摩藩实际掌权者岛津久光的侧近，继续负责集成馆事业，制造大砲、火药。1862年以后，他主持