党派抗争を強くしたもう一つの問題は奴隷制であり、とくに西部の準州がアメリカ合衆国の州として加盟を求めた時にそこで奴隷制を認めるかという問題だった。1800年代初期に綿花ブームが続いていたとき、奴隷制は大規模であればそれだけ経済的に引き合うものとなり、北部人は道徳的側面では無関心であったとしても経済的脅威としては認識し始めていた。奴隷制の即刻廃止に賛成する北部人は比較的少なかったが、新しい領土にそれが拡張することには反対する者が多く、奴隷を利用することは自由労働者の賃金を下げるという見方があった。これと同時に南部人は次第に北部の経済と人口の成長を南部の利益に対する脅威と認識するようになっていった。アメリカ合衆国が作られてからの数十年間に新しい州が加盟し、北部と南部はその党派的違いを乗り越えて、奴隷州と自由州の数を等しく加盟させることでバランスを保っていた。この妥協的方法によって上院における力の平衡は無期限に保たれていた。しかし、下院の場合は事情が異なっていた。北部の工業化が進み、ヨーロッパからの移民が流入してその人口が増していくと、下院においては北部が多数派となり、南部政治指導者達はそれを不快に感じるようになっていった。南部人は連邦政府でその利益を守るに必要な代議員数を送っていないために、政府に翻弄されるようになることを恐れるようになった。1840年代後半までにミシシッピ州出身のジェファーソン・デイヴィス上院議員は、連邦議会で北部が多数を占めることはアメリカ合衆国政府を「北部強化のエンジン」にすると述べ、北部の指導者達は南部民衆の犠牲においてアメリカ合衆国の工業化を促進する」構想を持っているとも言った。米墨戦争の結果、自由州と奴隷州の境界より南側に新しい領土が加わることを北部人の多くは警告と捉え、新領土における奴隷制問題は劇的に熱い問題に変わった。党派的抗争が4年間続いた後で、1850年妥協によりなんとか内戦は避けられた。このときカリフォルニア州は州南部を含めて自由州として加盟を認められて別に奴隷州を作ることを免れ、ニューメキシコ準州とユタ準州では奴隷制を認められるという複雑な取引があり、さらには1850年の逃亡奴隷法では、どこで見つかった逃亡奴隷も全国民に再捕獲を助けることを求める強力な法が成立した。その4年後、連続した妥協で購われていた平和は遂に終わりになった。連邦議会はカンザス・ネブラスカ法によって奴隷制問題を各準州に済む住民の投票による判断に委ね、それによって奴隷制擁護派と反対派の対立する移民集団が新しく開発された地域に競って入植するような法と秩序の崩壊を誘発した。
江戸幕府が倒れ明治時代に入ると交通事情が変化し、参勤交代もなくなったため、全国の宿場町は没落していった。軽井沢においては雨宮敬次郎が開墾事業を計画するなどしたが、地域は衰退していった。1884年（明治17年）には（新）碓氷峠を越える碓氷新道（現在の国道18号）が開通。軽井沢宿は新道のルートからも外れ、宿場町としての機能を失った。しかしその後、1885年（明治18年）夏にカナダ人の聖公会宣教師アレクサンダー・クロフト・ショーが、友人の帝国大学（東京帝国大学）英語講師ジェイムズ・メイン・ディクソンと酷暑の東京を逃れ、たまたま軽井沢を訪問。高林薫平の居宅を借り受けて7月から8月まで滞在した。ショーは軽井沢の冷涼な気候や風土が故郷のトロントと似ていると感じ、「屋根のない病院」と呼んだ。軽井沢が「保健休養地」を称する所以である。ショーはディクソン夫妻を伴い翌年夏軽井沢を再訪した。1888年（明治21年）に日本に滞在していたカナダ人のショーは「つるや」（現在のつるや旅館）の主人の佐藤仲右衛門の斡旋によって旧軽井沢の大塚山に軽井沢初の別荘を建設した。保養地・避暑地としての軽井沢の歴史を切り開いた。別荘第1号は、民家を移転し、改造したものであった。その後この別荘は日本基督教団軽井沢教会の敷地内に移築保存されていたが、1986年（昭和61年）に再び移築復元され、ショーハウス記念館としてショー記念礼拝堂の裏に現存する。また1888年（明治21年）9月には碓氷馬車鉄道が官設鉄道横川駅から軽井沢駅間に開通。同年12月には官設鉄道信越本線が長野方の上田駅から軽井沢駅まで延伸された。軽井沢に鉄道が到達し、碓氷新道（国道18号）近くに軽井沢駅が開業した。更に1893年（明治26年）には馬車鉄道に代わり、アプト式ラックレールを採用して急勾配の碓氷峠を越える官設鉄道碓氷線が開通し、東京方の上野駅と直結した。以後軽井沢駅が地域の玄関口として機能するようになり、駅前に商店が増えた。新道や鉄道が通じている軽井沢駅周辺が地域の新たな交通の中心となり、次第にこれを「新軽井沢」と呼ぶようになった。これに対し軽井沢宿の旧道界隈を「旧軽井沢」と呼ぶようになり、今に至っている。江戸時代後期に開業するも宿場の衰退により休業していた旧軽井沢の旅籠「亀屋旅館」の主人佐藤万平（初代）は、ディクソン夫妻から洋食や外国人の生活習慣を習得し、1894年（明治27年）、軽井沢で最初の洋式ホテル「亀屋ホテル」（後の万平ホテル）を創業した。その後、1899年（明治32年）には「軽井沢ホテル」、1906年（明治39年）には「三笠ホテル」も開業して宣教師・知識人・文化人の間で人気を博し、日本三大外国人避暑地の1つに数えられるようになった。1900年代に入ると貸別荘やホテルなども増え始めた。ショーが宣教師であったことから、他の外国人避暑地に比べ宣教師が多く訪れ、キリスト教の色合いが濃い保養地となった。当時設立されたキリスト教会が現在も活動しており、米国人建築家ウィリアム・メレル・ヴォーリズが設計した軽井沢ユニオン教会（1918年（大正7年）に建築された教会）、日本基督教団軽井沢教会（1929年（昭和4年）に建築された教会）など外国人ゆかりの教会建築が軽井沢の各地に現存している。ヴォーリズも夫妻でたびたび軽井沢を訪れており、教会以外にも軽井沢会テニスコートクラブハウスや医院など幾多の建物を手掛けた。ヴォーリズの手になる別荘も数棟残っており、現在も使用されている。