氏的史书《先代旧事本纪》记载，阿刀氏的家祖是饶速日命之孙味饶田命。平安时代初期的弘仁6年（815年），按《新撰姓氏录》记载，阿刀氏有以下后裔。另外，按照《太子传玉林抄》引用的《新撰姓氏录》左京神别阿刀宿祢条逸文记载，阿刀连在大和国城上郡椿市村（现奈良县樱井市金屋）也有分支。阿刀氏与物部氏（后来的石上氏）是同一祖先。阿刀氏这个姓氏是来自于物部守屋在阿都（河内国涩川郡迹部乡，现大坂府八尾市迹部一带）的而得名。天武天皇元年（672年）开始，阿刀氏首次出现在历史文献上，因此可能是当时物部氏衍生而成的分支。