Sowohl "Wardrobe" als auch Kirche fielen jedoch dem Großen Brand von London 1666 zum Opfer. Sir Christopher Wren erbaute nach dem Großen Brand 51 Kirchen, und St Andrew-by-the-Wardrobe ist in diesem Werk eine der am einfachsten gehaltenen Kirchen. Sie wurde 1695 wieder aufgebaut.