钱币学界直到20世纪初才达成同识，所有1804年银元都不是1804年出产。此前钱币学家一直对这些硬币的铸造时间争论不休。收藏家起初以为1804年银元就是1804年生产，并对三种类别提出各种理论。数量如此稀少更是引来五花八门的解释，比如大部分硬币都付给巴巴里海盗充当赎金，或是在运往中国的海上失落，或尚未运出费城分局便已熔毁。1867年，钱币学家艾略特·伍德沃德（）确认部分1804年银元是在1834年生产用作外交礼品，但他仍相信其他样本是1804年打造。1899年，钱币学家莱曼·洛（）和威廉·马文（）在《美国钱