フランシス・スコット・キー
南北戦争の間は軍事刑務所として使われ、南軍兵士の捕虜を収容すると共に、南軍に同情的と疑われたメリーランド州の政治家も多く収監された。皮肉なことに、フランシス・スコット・キーの孫もそのように囚われた政治家の一人だった。さらに偶然の一致か、ジェイムズ・マクヘンリーの息子はボルティモアの戦いの時に砦の守備隊に入っていた。