Key murió en 1843, en casa de su hija Elizabeth Howard en Baltimore de pleuresía y fue inicialmente enterrado en el cementerio "Old Saint Paul's" en la cripta de John E.