最早有起源于日本本土的蕨手刀（弯形），亦有仿自中国古代的环首刀（直形），从平安时代末期开始刀具形制便逐渐改变，后来均改为弯形刀，鎌仓中期因为元日战争，日本刀为了战备大量制作，偶有佳作产生，便成为后世所称的名刀，同时制刀技术也开始进步。日本刀的制作以大和国，备前国，山城国，相模国，美浓国五地为核心，此五地名匠与良刀辈出。
上古时期.古坟时代中期（200年－771年）已经出现铁制刀剑，当时原料以炼铁为主。从稻荷山古坟出土的“金错铭铁剑”制作于公元471年，是为了纪念犭只加多支卤的功