Ein Jahr nach seiner Rückkehr nach London ereilte Ogilby ein schwerer Schicksalsschlag. Der Große Brand von London im September 1666 legte innerhalb weniger Tage vier Fünftel der Stadt in Schutt und Asche. Ogilbys Haus verbrannte und damit auch sein gesamtes Buchlager. Auch das Manuskript seines auf zwölf Bücher angelegten Epos "Carolies", einer Lebensbeschreibung Karls I., fiel den Flammen zum Opfer. Nur die wertvollen Kupferplatten zur Illustrierung seiner Werke wurden von Freunden gerettet. Auf diese Weise konnte Ogilby alle seine Bücher – mit Ausnahme der Bibel und des Berichtes vom Krönungsfestzug – neu drucken lassen und schaffte als nunmehr 65-Jähriger einen Neuanfang.