Церковь Святого Олафа пережила Великий лондонский пожар 1666 года благодаря действиям офицера Уильяма Пенна (William Penn, 1621—1670), отца писателя Уильяма Пенна, и его солдат из близлежащих военно-морских верфей. Пенн-старший приказал солдатам уничтожить дома, окружавшие церковь. Пламя подошло к зданию на 100 ярдов, но затем ветер изменил своё направление.