南北戦争のとき、ノースカロライナ州はアメリカ合衆国から脱退した。オスカー・R・ランド大尉があらゆる年齢の志ある男子を徴兵し、南軍に属するゼブロン・ベアード・バンス州知事の第26歩兵連隊に加えた。ゲティスバーグの戦いの1日、ピケットの突撃として知られる強襲のときに、指揮を執っていた士官14人のうちの13人が死んだ。880人いた兵士の中で81人のみが生き残って話を伝えた。町の男性が出て行って、ホリースプリングスの学校は2つとも閉鎖され、町は事実上ゴーストタウンとなった。北軍が北に退くときに、ホリースプリングスがその通り道になった。「バマーズ」と呼ばれた強盗の一団が地域の農園や家屋を襲い、食料、物資、銀、衣服など価値のある物を奪って行った。この戦中にはまた、2週間だけ北軍の1部隊がホリースプリングス近くで宿営し、レスリー・アルフォード・ミムズ邸を本部に設営した。レスリー夫人はヤンキーを酷く憎んでいたが、その家をことのほか愛していたので、兵士を冷静な礼儀をもって扱った。このことで家は破壊を免れた。南部の家屋が多く破壊された時代だった。レスリー夫人は「兵士達を魅了したので、彼らは家を燃やさなかったが、鶏肉は持って行った。」と言ったとされている。ホリースプリングスの小さな町は繁栄する町になるはずだったが、南北戦争によって経済的に破壊された。町を出て行った家族もいた。アペックスの村を通るチャタム鉄道が建設されることで、村からの逃亡が加速された。鉄道は近隣の町を外界に繋いだ。歴史家のM・N・アミスは、1871年のホリースプリングスを「脱走された村」と表現した。
1800年までにその交差点に村が生まれ、リチャード・ジョーンズが建てた雑貨店や、バプテスト教会、フリーメイソンの支部があった。その後間もなく製材所やコットン・ジンが建てられた。スコットランド出身の仕立て屋アーチボルド・レスリーが1817年頃にこの町に入って来て、仕立て屋を始め、間もなく泉の近くに家屋の建設を始めた。この38室ある邸宅は現在、レスリー・アルフォード・ミムズ邸と呼ばれ、町役場に近いアベントフェリー道路近く建っている。ホリースプリングス・バプテスト教会は1822年に設立され、町で最初の成功した教会になった。フリーメイソン支部115号が1847年に結成され、1854年には二階建ての支部ビルが建てられた。この建物は町で最初の学校としても使われた。1854年、ホリースプリングス・アカデミーが開校し、生徒にウェイクフォレスト大学に入学する準備をさせた。その2年後、支部の1階部分が女子の学校として使われた。この支部には2006年秋に歴史的な場所を示す銘板が建てられた。
ホリースプリングスの町は清水の泉の周りで成長しており、当初「聖なる泉」（ホリー・スプリングス）だったと考えられている。泉は現在のアベントフェリー道路とカスホルト道路の交差点近くにあった。これらの道路が州都ローリーからケープフェア川とファイエットビル、さらにはヒルズボロやスミスフィールドに繋がれた。
ホリースプリングスとなった地域は、ヨーロッパ人が入って来る以前の時代に、タスカローラ族インディアンが狩猟地として使っていた。タスカローラ族はヨーロッパ人の流入にともない、1720年頃にこの地域を逃げ出し、北部のイロコイ連邦を構成する6部族の1つとなった。
1972年2月12日、週末の土曜日の晩、「ウィスキータウン」（酒場町）のゴードン市の町角を歩いていたレイモンドは、通りかかった白人牧場主ヘアーの息子、レスリー（当時28歳）とメルビン（当時26歳）の兄弟に因縁をつけられ、いきなり殴り倒された。ヘアー兄弟は白人仲間のバーナード・ラター、ロバート・ベイリス、ジャネット・トンプソンの、男4人に女1人の多勢に任せて、レイモンドを車のトランクに押し込み、ゴードン市内の「アメリカ在郷軍人協会クラブ」までレイモンドを拉致連行した。ちょうど、「アメリカ在郷軍人協会クラブ」では、酔っ払った白人のカウボーイやカウガール達が、ダンスパーティーに興じていたところだった。ヘアー兄弟らは半殺しにしたレイモンドをホールに引きずり込み、衣服を剥ぎとって全裸にして「踊りを踊れ」と強要し、思いがけない余興を提供した。さらにヘアー兄弟、ラター、ベイリスらはレイモンドに殴る蹴るの暴行を加え、ホールの客たちに「さあみんな、こいつを殴れよ、気持ちいいぜ！」と叫んだ。白人たちは男も女も面白がって、レイモンドに対する暴行に加わった。しばらくするとホールの客たちはインディアンへの私刑に飽きてきたので、ヘアー兄弟は半死半生状態のレイモンドを表の通りに引きずり出した。2月20日、レイモンドの死体が廃車置き場で、ヘアー兄弟の車のトランクから発見された。51歳だった。警察はヘアー兄弟を「第二級殺人罪」で逮捕した。通常、インディアンが白人を殺せばたいていの場合「第一級殺人罪」で死刑になるが、白人がインディアンを殺しても「第一級殺人罪」に問われることはほとんどない。警察はこの事件を「酔っ払ったインディアンが喧嘩に巻き込まれて勝手に死んだのだ」と断定し、「悪戯者たちがやらかした残酷な悪ふざけ」、「ちょっとした出来事に過ぎない」として、ヘアー兄弟を拘束することもなく即日釈放した。保釈金は請求されなかった。レイモンドの死体は遺族が来るよりも前に、警察によって棺に入れられた。レイモンドの遺族が抗議をしても、警察は全く取り合わなかった。部族会議もBIA（インディアン管理局）も、全く遺族を相手にしなかった。「全米一人種差別の激しい州」と謳われるサウスダコタや、ネブラスカのゴードンで、白人から理不尽な暴行を受けるインディアンは珍しくもなかったのである。レイモンドは酒を飲まなかった。道端に酔いつぶれて寝転がっているようなインディアンではなかった。馬扱いがうまく、子供好きで勤勉なインディアンだった。レッドネックに殺されたことで、レイモンドになんの咎があるわけでもなかった。彼の死は、単に白人の週末の気晴らしであり、娯楽でしかなかった。