此台湾总督府命令当地原住民阿美族族人，自海岸山脉中的马武窟溪引水，透过暗渠穿越马沙林尼山，后来到小马地区进行灌溉，而这座暗渠便是小马隧道的前身。该项水利灌溉工程于1929年正式完工，当时该条圳道称为「小马埤圳」。后续为加强泰源盆地对外的交通，因此台湾总督府获得日本中央政府补助的10万日圆后，再次命令当地原住民，将原两尺宽的圳道的暗渠断面扩大成为四尺宽，可供人车可通行的隧道。1932年，隧道扩建工程完工，工时共费时15年之久。太平洋战争后期，日本帝国战况逐渐趋于劣势，这时台湾时常受到盟军轰炸机的空袭，