チャールズ・ワーグマン
また同年から翌1864年にかけて、下関戦争についても記事や挿絵をロンドンに送っている。同年、長男の一郎が誕生。
1865年に五姓田義松がワーグマンの許に入門、翌1866年には高橋由一が入門する。また1874年には小林清親が入門しようと尋ねた。
1867年、ハリー・パークスやアーネスト・サトウに伴い、徳川慶喜との会見に臨むため大坂に出立。このとき大坂の風景スケッチとともに、慶喜の肖像画も描いている。その後、江戸に向かう途中の掛川宿で例幣使の襲撃を受けるが、かろうじて難を避けることができた。
1885年、『A Sketch Book of Japan』を刊行。
1887年3月にジョルジュ・ビゴーへの挨拶を含めた『ジャパン・パンチ』の最終号を発刊。イギリスに帰国する。翌1887年に弟ブレイクとロンドンで展覧会を開いた後、再び来日するが病に倒れる。
1891年、横浜にて58歳で死去、横浜外人墓地に葬られる。毎年命日の2月8日には、横浜文芸懇話会によって、「ポンチ・ハナ祭り」(ワーグマン祭)がワーグマンの墓前にて開かれている。ちなみに彼の直系の子孫は1945年に途絶えて存在しないとされる。