者林罗山在其所着的《丰臣秀吉谱》中称之为「耳冢」，此后「耳冢」一名广为流传。耳冢中大约埋有二十多万人的鼻子或耳朵，其中共有朝鲜人耳鼻185738，明朝人耳鼻29014。日本在明治三十一年（1898年）曾修葺耳冢，并在耳冢附近建立了「耳冢修营供养碑」。昭和四十四年（1968年）4月12日，日本政府以「方广寺石垒和石塔」为名义，将耳冢指定为国家史迹。然而，此地成为观光景点引起了不少在日朝鲜人的抗议和不满。