所在する下栗原村は甲府盆地の北東に位置し、笛吹川の支流日川・重川に挟まれた平坦地で、西には歌田村（山梨市歌田）、南には日川を挟んで八代郡小城村（現在の笛吹市一宮町小城）が隣接する。『甲州道中分間延絵図』には宿の様子が描かれ、笛吹川沿いに北上する秩父往還や小原西分村で秩父往還から分岐する青梅往還が通る交通の要衝となっている。江戸から32里22町（約127キロメートル）余で、東の勝沼宿から31町36間（約3.4キロメートル）、西の石和宿へは1里20町30間（約6.1キロメートル）にあたる（天保14年（1843年）『宿村大概帳』）。下栗原村内を通過する往還は12町12間半であるが、宿内町並は6町ほどに展開している。成立時期は不明だが、勝沼宿などが新規に宿駅となった元和4年（1618年）に宿立てされたと考えられている。「宿村大概帳」に拠れば歌田村・小城村が加宿に指定されていた。天保14年（1843年）の宿内の家数は加宿の歌田・小城両村を含めて240軒、1057人。本陣1軒、脇本陣1軒、人馬継立問屋が1カ所。問屋1人、年寄4人、馬指1人。平時には問屋・年寄・馬指が詰め、大通行に際しては全員で処理した。宿建人馬25人・25疋、うち囲人馬5人・5疋。宿の中程の中町に本陣・脇本陣があり、中町の観音天神の向かいに高札場が存在している。助郷は宝永2年（1705年）引渡目録に拠れば上石森村・中村・歌田村・下石森村・小城村・北都塚村・南田中村・下矢作村の8か村に課せられていた。文政元年（1818年）の十返舎一九『金草鞋』では栗原宿の茶屋が取り上げられ、文政10年（1827年）の『諸国道中商人鑑』では4軒の旅籠が紹介されている。
サムナーは黒人の選挙権と公民権の推奨については異常なくらい先を見据えていた。サムナーの父は奴隷制を憎み、奴隷を解放しても、社会の中で平等に扱わなければ「何も良いことはない」と言っていた。サムナーはラルフ・ワルド・エマーソンのようなニューイングランドの多くの知識人に影響を与えたボストンの牧師、ウィリアム・エラリー・チャニングと親しく付き合っていた。チャニングは、人間は自分を変えて行く無限の可能性があると信じた。サムナーは、この説を拡張して人格の形成には環境が「もし影響を制御できないならば重要である」と結論付けた。「知識、美徳及び信教」が優先される社会を作ることで、「最も見放された者が想像も出来ないような力と美という形にまで成長させられる。」道徳的な法はそれが個人にとってと同じくらい政府にとっても重要である、人の能力の成長を阻害する奴隷制や差別のような法は悪である、と主張した。サムナーは当時の社会についてしばしば暗い見方をしていたが、社会改革に関する信条は揺るがせないものであった。空想的理想主義だと非難されると、「ある時代のユートピアは次の時代の現実になってきた」と答えた。新しい奴隷所有州として1845年にテキサスを併合したとき、サムナーは反奴隷制運動で積極的な役割を担った。1849年にマサチューセッツで民主党と新しく作られた自由土地党の連携を画策した。同じ年に、人種差別の合法性に挑戦した「ロバーツ対ボストン市事件」で原告の代表になった。サムナーはマサチューセッツ州最高裁の場で、黒人のための学校は物質的に劣っており、差別は有害な心理的および社会学的効果を育むと主張した。この考え方は1世紀後の「ブラウン対教育委員会事件」でも同じように議論された。サムナーはこの裁判で敗訴したが、マサチューセッツ州議会は結局1855年に学校差別を廃止した。サムナーはサミュエル・グリドリー・ハウとも友人であり、アメリカ解放奴隷の審問委員会を作り上げるときも力になった。黒人の参政権、無償土地供与および無償公共教育に付いても最も傑出した推奨者の一人となった。サムナーが大っぴらに奴隷制度に反対するので上院での友人は少なかった。1852年に上院で初めて演説をした後で、アラバマ州の議員が立ち上がって、「狂人の喚き声は時には危険なものになるが、子犬の吼え声は何の害も無い」と言って、サムナーに対しては何の答えもないとした。サムナーの妥協を許さない姿勢は中庸にしておくことを許さず、時には議員としての効果を妨げることになった。アメリカ合衆国憲法修正第13条の草案作成時にはほとんど排除されたが、それは上院司法委員会の議長で法律には多くの実績があったイリノイ州選出上院議員、ライマン・トランブルと仲が悪かったからでもあった。サムナーは奴隷制を廃止する法案に「全ての人々は法の前に平等である」という宣言を付け加える代案を出したが、これは修正第13条に第14条の要素を組み合わせたものと同じだった。レコンストラクションの間、サムナーはしばしば公民権の法制化が弱すぎると攻撃し、解放奴隷に無償の土地を与えるための法律作りのために戦った。他の同時代人とは異なり、差別と奴隷制は同じコインの表と裏と見ていた。1872年には公民権法を提案したが、これは公共の場では平等な便宜を義務付けるものであり、この法案の下に連邦裁判所の場で議論する公判を要求した。この法案は結局通らなかったが、サムナーは死の床においてもそのことを話し続けた。1870年4月、サムナーは帰化法から「白人」という言葉を外すために働くと宣言した。1868年と1869年にそのための法案を提案したが、どちらも投票にも至らなかった。1870年7月2日、帰化に関する議会の法律全てに「白人」という言葉を打ち込むやり方で懸案となっていた法案の修正に動いた。7月4日、サムナーは「上院は中国から大勢がやってくる可能性を思い出させることで我々を妨げようとしている。しかしこの事に対する答えは大変明白で単純である。もし中国人がここに来るならば、市民となるためあるいは単に労働者になるために来るのだ。彼らが市民になるために来るのなら、その願望によって我々の制度に対する忠誠を誓うことになる。そのような制限に危険はあるか？彼らは平和を愛し勤勉である。彼らの市民権が心配の種になるだろうか？」と話した。サムナーは中国人を阻害する立法を進める議院をアメリカ独立宣言の方針を裏切る者として「海外の未開人や異教徒よりも悪いのは、我々の仲で我々の制度に対して嘘を付く者である」と非難した。しかしこのサムナーの法案も不成立であり、1870年から1943年（ある場合は1952年まで）、中国人や他のアジア人はアメリカ合衆国の市民不適格者とされた。