上下町上下
現在の上下町並みの基盤が形成されたのはこの時代である。
近代に入ってからも商業・金融の町として栄えた。明治15年(1882年)-33年(1900年)には先述の田辺家を中心に上下に本店をおく金融機関「共同成章社」が経営され、明治32年(1899年)に府中で備後銀行が設立されたときには、その出資には共同成章社の役員を含む上下の資産家が名を連ねている。さらに明治45年(1912年)には地元の資産家である角倉博佐を頭取とし上下に本店をおく角倉銀行が設立された。
また、教育・福祉の充実のため活動する財団法人「蟻集財団」が結成されている。そもそもは文久2年(1862年)教育・農工業振興のため立ち上げた共助組織「勧業会」が前身で、明治44年(1911年)に先述の角倉博佐ら21人の出資で財団法人が設立、出資金を株や国債で運用し土手の修復や貧困農家支援などをおこなっていた。なおその後行政支援を受けず民間運営だけで100年近く続いていたが平成バブル崩壊により活動停止し、過疎化による運営資金と後継者不足、公益法人改革の余波を受けて2013年に解散している。
関ヶ原の戦い後、安芸・備後双方を治めた広島藩主福島正則が当地を治めた。
江戸時代、この地に通る往還は脇街道”石州街道”となり、この地はその宿駅「上下宿」として人や物資の集散地として発展した。その道は特に幕府直轄となった石見銀山(大森銀山)および大森代官所への道”石見銀山街道”として重要視された。なお銀山街道は尾道に向かう道と笠岡に向かう道の2つとされ、尾道道は1607年・1608年ごろから銀山奉行大久保長安が整備したとされている。笠岡道に古くから存在していた道を改良したものと考えられているが、銀を運搬したとする当時の資料は存在しておらず、運搬したとする伝承が残っているのみである。
正則は元和5年(1619年)改易、同年水野氏による福山藩が興ると、上下は福山藩領となるも、元禄11年(1698年)水野氏は無嗣により断絶する。このときから上下は事実上天領となる。
元禄13年(1700年)元禄検地の後、旧福山藩領15万石のうち10万石が新福山藩領、のこり5万石が天領となった。上下は天領側に残り、同年幕府は「上下代官所」を置き安那郡・神石郡・甲奴郡の71ヶ村約4万石を管轄し、残り約1万石は笠岡代官所が管轄した。
享保2年(1717年)備後天領のうち約2万石が豊前中津藩奥平氏に分けられたことで天領が2万石弱となったため、上下代官所は廃止され石見銀山大森代官所の出張陣屋に改められ神石郡・甲奴郡の22ヶ村約1万3千石を管轄した。大森代官配下の手付・手代3人から4人が詰めていた。幕末になると出張陣屋は神石郡・甲奴郡の13ヶ村と備中12ヶ村を管轄している。