1874年のニール号遭難事故で日本政府がウィーン万国博覧会の際、入手した美術品が失われたことに同情したクンリフ＝オーウェン館長はヨーロッパの美術品・工芸品を日本に寄贈することにした。ドレッサーは美術品の選定に協力し、フィラデルフィア万国博覧会の視察も兼ねて米国経由で、1876年12月に美術館寄贈の品約300点と自身の織物コレクション約1200点を携えて来日した。1877年4月まで滞日し、日本政府の厚遇を受け、天皇に謁見し、町田久成の案内で正倉院宝物を調査し、工業振興への助言を求める政府の高官に案内されて日本各地の職人のもとや神社、仏閣を訪れた。4か月の間に横浜→神戸→淡路→摂津三田→有馬→大阪→奈良→和泉堺→和歌山→黒江→高野山→京都→伊勢→四日市→名古屋→瀬戸→多治見→静岡→東京→日光→横浜と精力的に視察し、タンスから手ぬぐいまで大量の物品を購入した。高野山に登った西洋人としては5人目であり、興福寺の五重塔に上った最初の西洋人であると自ら述べている。