L'année 1665 fut marquée d'un rude coup du destin avec la disparition lors d'une épidémie de peste de son plus jeune fils, qui avait hérité de ses dons de dessinateur. L'année suivante, Hollar fut témoin d'une des pires catastrophes du siècle, le Grand incendie de Londres. C'est grâce aux multiples gravures que Hollar avaient réalisées de la capitale anglaise, à leur précision et leur netteté qu'on peut encore aujourd'hui se faire une idée du Londres médiéval qui disparut dans l'incendie. Après l'incendie, il continua de dessiner les quartiers détruits, y compris en vues d'ensemble. La qualité de ses gravures incita sans doute le roi à l'envoyer en mission à Tanger en 1668. Charles II lui avait commandé des gravures de cette ville, et les offrit à sa femme, la princesse portugaise Catherine de Bragance. Au retour le navire qui le ramenait en Angleterre fut pris à partie par des pirates algériens : là encore, l'artiste immortalisa la scène dans ses dessins.