1926年，为了林场线的需要，从日本引进一辆加藤制作所（Kato）制造的7吨内燃机车，这是可考证到的阿里山林铁第一辆柴油机车。但真正以柴油机车入主是在1953年起，日本的新三菱重工（今三菱重工）制造的柴油机车是第一批被引进阿里山林铁以取代蒸汽机车的内燃机关车，陆续从同一公司引进了14辆。于1977年从西德O&K公司引进3辆德制内燃机关车。再从日本的日本车辆引进6辆内燃机车，至此蒸气机车几乎不再行驶。