一只有八尺大的大乌鸦身上那边获得此刀，「小乌丸」之名则是因为此刀是从大乌鸦的羽毛中出现而来。之后平贞盛在镇压平将门，藤原纯友等人的叛乱后，从天皇那边获得此刀，以后成为平家一门的重宝。在平家被灭的 坛之浦之战后，行踪不明，之后在江户时代的天明5年（1785年），才被人知悉是由平氏一门的后裔 伊势氏所保管，伊势家将记载刀身以及刀装来历的「伊势贞丈家藏小乌丸太刀图」的文书交给幕府。然后这把「伊势贞丈家藏小乌丸太刀」由伊势家献给德川将军家，将军家则是直接交由伊势家保管，明治维新后，伊势家卖给对马国的宗氏，明治1