治32年），受台湾总督府民政长官后藤新平的邀请来台，担任临时台湾铁道敷设部技师长。台湾铁道敷设部改组为铁道部时仍任技师长。1906年（明治39年），出任台湾总督府铁道部部长。除了规划纵贯铁路之外，也进行港口、车站与支线的建设工作。他在台湾期间，罹患中耳炎及肾脏病。1908年（明治41年），当纵贯铁路完工后，便离开台湾。长谷川谨介回到日本后，历任东部铁道管理局长、西部铁道管理局长、鉄道院理事、中部铁道管理局长、铁道院技监、铁道院副总裁等职。