刀剣が日本で作られたのは古墳時代からといわれている。当時の刀剣はほとんど反りの無い直刀であったが、平安時代中期以降「湾刀」と呼ばれる反りのある刀剣が作られるようになった。
この小烏丸は、直刀ばかりの時代に突如出現した湾刀であり、鋒だけが両刃という独特の形をしている。奈良時代平安時代に活躍した大和国奈良県の刀匠・天国(あまくに)の作といわれるが、作者は他にいるという説も濃厚である。
桓武天皇が平安京の南殿から下界を見下ろしていた時に天空から巨大な烏が舞い降りてきて、「自分は伊勢神宮の者である」と伝え、羽の間から一振りの剣を落として飛び去った。その後小烏丸は平家に伝来する宝剣となり壇ノ浦の戦いで平知盛と共に海中に没したと思われていたが、伊勢家にあることが判明。維新後元対馬藩主の宗氏の手に渡り、明治天皇に献上され、皇室御物として保管されている。