忠敬らは第一次から第四次までの測量結果から東日本の地図を作る作業に取り組み、文化元年（1804年）、大図69枚、中図3枚、小図1枚からなる「日本東半部沿海地図」としてまとめあげた。この地図は同年9月6日、江戸城大広間でつなぎ合わされ、十一代将軍徳川家斉の上覧を受けた。ただし忠敬は身分の違いにより、この場には出席していない。初めて忠敬の地図を見た家斉は、その見事な出来栄えを賞賛したのではないかといわれている。9月10日、忠敬は堀田正敦から小普請組で10人扶持を与えるという通知を受け取った。またこの年、漢学者として佐原にて門人の教育にあたっていた久保木清淵が後漢の鄭玄の『孝経』註釈を復元した『補訂鄭註孝経』を刊行したが、忠敬は同書の序文を執筆している。
忠敬が帰府したとき、至時は西洋の天文書『ラランデ暦書』の解読に努めていた。この本には緯度1度に相当する子午線弧長が記載されており、計算したところ、忠敬が測量した28.2里に非常に近い値になることが分かった。これを知った忠敬と至時は大いに喜び合った。しかし、翌文化元年（1804年）正月5日、至時は死去した。至時の死後、忠敬は毎朝、至時の墓のある源空寺の方角に向かって手を合わせたという。幕府は至時の跡継ぎとして、息子の高橋景保を天文方に登用した。
8月2日ごろからしばらく忠敬は病気にかかり、体調の悪い日が続いていた。そんななか、8月8日に訪れた糸魚川藩で、糸魚川事件と呼ばれるいざこざを起こした。忠敬はこの日、姫川河口を測ろうとして手配を依頼したところ、町役人は、姫川は大河で舟を出すのは危険だと断った。ところが翌日に忠敬らが行って確認したところ、川幅は10間程度しかなく、簡単に測ることができた。忠敬は、偽った証言で測量に差し障りを生じさせたとして、役人たちを呼び出してとがめ、藩の役人にも伝えておくようにと言った。その後、忠敬一行は直江津（現・上越市）を通過して、8月25日に尼瀬（・現出雲崎町）に到着、ここで船を待って8月26日に佐渡島にわたり、二手に分かれて島を一周し、9月17日に島を離れた。佐渡の測量によって、本州東半分の海岸線はすべて測量し終えたことになる。翌日からは内陸部を測りながら帰路についたが、途中の六日町（現・南魚沼市）で、至時からの至急の御用書を2通受け取った。糸魚川での事件が江戸の藩主に伝わり、藩主から勘定所に申し入れがあったためである。至時は1通目の公式な手紙で「忠敬の言い回しはことさら御用を申し立てるようでがさつに聞こえる、もってのほかだ」と非難した。2通目の私的な手紙では、「今後測量できなくなるかもしれないから、細かいことにこだわってはいけない」と、割合くだけた調子で注意した。忠敬はこれに対して弁明の書を出した。その後一行は三国峠を越え、三国街道から中山道に入り、10月7日に帰府した。帰府後、忠敬は糸魚川事件の詳細な報告書を提出した。至時の力もあって、結果的に忠敬は幕府から咎められることはなく、測量に支障をきたさずに済んだ。
江戸時代には中山道が五街道のひとつとして整備され、旧碓氷峠ルートが本道とされた。碓氷峠は、関東と信濃国や北陸とを結ぶ重要な場所と位置づけられ、峠の江戸側に関所（坂本関）が置かれて厳しい取締りが行われた。峠の前後には坂本宿・軽井沢宿が置かれ、両宿場間の距離は2里26町（約10キロメートル〈km〉余）であったが、峠頂部の熊野神社の標高が1200 m、坂本宿の京都口が標高460 mであるから、その標高差は740 mもあり通行者の大きな負担になっている。特に刎石（はねいし）はつづら折れの急坂のうえ落石も多く、峠道最大の難所である。なお、坂本から熊野神社までの旧中山道ルートの現在は、旧建設省と「道の日」実行委員会により制定された日本の道100選のひとつとして1986年（昭和61年）に選定を受けている。ただし、古道はその後も活用されており、たとえば難所の碓氷峠を避けることができる鰐坂峠ルートは「姫街道」「女街道」と呼ばれていた。この道は本庄で中山道本道から分かれて藤岡・富岡・下仁田を経由し、鰐坂峠（和美峠付近）を経て信州に入り、追分宿付近で本道と合流していた。しかし、こちらも難所であることに差はなかったといい、本道と同様に西牧関所が置かれていた。天明3年（1783年）の浅間山噴火では3尺 (90センチメートル) 以上の砂が積り、碓氷峠往還は8日間にわたって通行不可能になっている。碓氷峠は中山道有数の難所であったため、幕末の文久元年（1861年）に和宮が徳川家茂に嫁ぐために中山道を通ることが決まった際に一部区間で大工事が行われ、和宮道と呼ばれる多少平易な別ルートが開拓された。なお、約3万人の和宮一行は同年11月9日（1861年12月10日）に軽井沢を発って碓氷峠を越え、翌10日（1861年12月11日）に横川に宿泊している。