En 1861, el nieto de Key fue encarcelado en Fort McHenry junto con el alcalde de Baltimore, George William Brown, y otros ciudadanos de la localidad, juzgados por ser favorables al Sur.