Ein schwerer Schicksalsschlag traf ihn 1665, als sein Sohn James, der ein beachtliches zeichnerisches Talent zeigte, im Alter von 22 Jahren während der Großen Pest von London starb. Im Jahr darauf wurde Hollar Zeuge einer weiteren Katastrophe, des Großen Brandes von London. Bereits in den Jahren zuvor hatte Hollar zahlreiche Ansichten der Stadt geschaffen, dank deren Genauigkeit man sich noch heute ein Bild des mittelalterlichen London machen kann, das in dem Brand vernichtet wurde. Nach der Feuersbrunst fertigte er weitere, bis heute bekannte Darstellungen an, darunter Topographien, die die zerstörten Stadtteile bezeichneten. Deren Qualität mag den König bewogen haben, ihn 1668 mit auf eine Expedition nach Tanger zu schicken. Dort fertigte er detailgenaue Zeichnungen der Stadt und ihrer Befestigungen an, die Karl II. als Mitgift seiner Frau, der portugiesischen Prinzessin Katharina von Braganza, in Besitz nahm. Auf der Rückreise wurde sein Schiff in ein Gefecht mit algerischen Piraten verwickelt, das er später ebenfalls bildlich festhielt.