矢的“破魔”二字被认爲是取自佛教用语。关于破魔矢的起源，有着不同的说法。
源赖义起源说.公元11世纪后半叶，源赖义接受了京都石清水八幡宫赐予的弓箭，前往陆奥国，由此终结了前九年之役。据传该箭现在被供奉于鹤冈的八幡宫，该八幡宫是源赖朝从由比浜迁移过来的。源赖义年轻时勇武过人，尤擅弓箭。人们希望可以以供奉弓箭的形式来寻求他的庇护，后来便有了破魔矢的说法。
乌摩勒伽起源说.根据另外一说，日本佛教中的乌摩勒伽（うまろきゃ）持有金弓，他的箭具有杀死恶魔的功效。供