2003年、ボストン大学の学生だったJoseph SteinhardtとZach Gajewskiによってボストンで設立される。2人は大学卒業後ニューブランズウィックに拠点を移し、ニュージャージーとニューヨークのアンダーグラウンド・パンクシーンに特化したレーベルとして作品をリリースしていった。2011年、ビルボード誌が発表したアメリカのインディーレーベル・ベスト50に選ばれている。
1880年代はさらなる成長の時代となり、リーハイ・バレー鉄道はニューヨーク州において重要な買収を成し遂げて路線網をそれまではレディング鉄道がほぼ独占していたペンシルベニア州南部の炭田地帯へと伸ばし、またジャージーシティにおけるターミナル施設をめぐるセントラル・レールロード・オブ・ニュージャージーとの争いに勝利した。バッファローにあるエリー湖に面する港は、リーハイ・バレー鉄道にとって石炭を西部の市場に出荷し、また西部から東部の市場へ出荷される穀物を受け取るためにとても重要であった。1870年にはリーハイー・バレー鉄道はエリー鉄道と湖岸を結ぶ全長2マイル (3.2 km) のバッファロー・クリーク鉄道 (Buffalo Creek Railroad) に投資し、またバッファロー川にリーハイ船渠を建設していたが、ウェイバリーからバッファローまでの連絡はエリー鉄道に頼っていた。1882年にリーハイ・バレー鉄道はニューヨーク州内において大規模な路線拡大を開始した。まず、バッファローにおいてターミナル施設として使うために広大なティフト農場 (Tifft farm) を購入し、リーハイ・バレー鉄道に対する路線特許をニューヨーク州から得た。そして1887年にはウェイバリーから北へフィンガー湖沼群地方へ至る路線を保有していたサザン・セントラル鉄道 (Southern Central Railroad) を借り受けた。同時に、リーハイ・バレー鉄道はセネカ湖の北岸からバッファローまでの建設のためにバッファロー・アンド・ジュニーバ鉄道 (Baffalo and Geneva) を設立した。最終的に1889年に、リーハイ・バレー鉄道はジュニーバ・イサカ・アンド・セイアー鉄道 (Geneva, Ithaca, and Sayre Railroad) の支配権を得て、ニューヨーク州における路線を完成させた。こうした借受や買収の結果として、リーハイ・バレー鉄道はフィンガー湖沼群地方における輸送の独占を確立した。リーハイ・バレー鉄道はさらにペンシルベニア州において成長し続け、路線を拡大していた。1883年にリーハイ・バレー鉄道は北東ペンシルベニア州において土地を購入し、ザ・グレン・サミット・ホテル・アンド・ランド (The Glen Summit Hotel and Land Company) という名前の子会社を設立した。この会社はペンシルベニア州グレン・サミットにグレン・サミットホテルという名のホテルを開業し、鉄道の旅客へ食事を提供した。周辺の山荘の住民によって買収された1909年まで、このホテルは経営された。またペンシルベニア州においてリーハイ・バレー鉄道は、スクーカル・ヘイブン・アンド・リーハイ・リバー鉄道 (Schuykill Haven and Lehigh River Railroad) がかつて保有していた路線特許を1886年に手に入れるという勝利を得た。この路線特許は1860年からレディング鉄道によって保有されてきたもので、南部炭田における独占を維持するためにその建設を阻止してきたものであった。この南部炭田はペンシルベニア州において最大の無煙炭の埋蔵量があり、最大の生産量を占めていた。レディング鉄道はうっかりしてこの路線特許を失効させてしまい、リーハイ・バレー鉄道によってこれを取得されてしまい、すぐにスクーカル・アンド・リーハイ・バレー鉄道 (Schuykill and Lehigh Valley Railroad) が建設されることになった。この路線によってリーハイ・バレー鉄道はペンシルベニア州ポッツビルへ、そしてスクーカル川の谷への経路を手に入れることになった。ニュージャージー州では、リーハイ・バレー鉄道はジャージーシティのターミナル設備を巡って、セントラル・レールロード・オブ・ニュージャージーと10年に及ぶ法廷闘争を開始した。アサ・パッカーが1872年に購入した土地はモリス運河の南側に位置していたが、これに隣接してすでに自社の施設を保有していたセントラル・レールロード・オブ・ニュージャージーは、リーハイ・バレー鉄道の権利に異議を唱え、自社のターミナル施設のためにセントラル・レールロード・オブ・ニュージャージーが埋め立てた土地を一部含んでいると主張していた。最終的に1887年に両社は和解に達し、リーハイ・バレー鉄道のジャージーシティにおける貨物ターミナルの建設が開始された。リーハイ・バレー鉄道は、1889年に開業したこの貨物ターミナルへのアクセスに、セントラル・レールロード・オブ・ニュージャージーの線路を5年間使う権利を得た。貨物ターミナルはモリス運河に面しており、600フィート (180 m) の長さの桟橋が何本も沿岸から突き出していたが、しかし操車場として使うにはあまりに狭かったため、リーハイ・バレー鉄道は列車を組成するためにニューアークにオーク・アイランド操車場を建設した。このサウス・ベースン駅は船渠や車両用艀を備えており貨物専用として使われていた。旅客列車はペンシルバニア鉄道のターミナル駅そしてフェリーへと回されていた。その一方で、リーハイ・バレー鉄道はイーストンとアンボイを結ぶ路線をジャージーシティへと接続するためにいくつかの鉄道の建設に着手した。ローゼル・アンド・サウス・プレインフィールド鉄道は1887年に開業し、セントラル・レールロード・オブ・ニュージャージーとローゼルで連絡した。ニューアーク・アンド・ローゼル鉄道は1891年に開通してローゼルからニューアークまで路線が伸び、旅客はここでペンシルバニア鉄道に連絡した。ニューアーク湾に橋を架けるのは難しく、リーハイ・バレー鉄道はまずグリーンビルで線路建設のための土地を入手しようとしたが、ペンシルバニア鉄道が必要とされる土地のほとんどを買い占めてこれを妨害した。続いてセントラル・レールロード・オブ・ニュージャージーがケイブン・ポイント (Caven Point) において路線が交差することに反対を唱えた。最終的に法廷闘争を解決した後、ジャージーシティ・ニューアーク・アンド・ウェスタン鉄道によって1892年にニューアーク湾に橋を架けて、リーハイ・バレー鉄道が部分的に所有しまた貨物ターミナルへと接続しているナショナル・ドックス鉄道へと連絡した。1895年にリーハイ・バレー鉄道は、線路容量を救済しジャージーシティまで完全に自社線を得るために、ナショナル・ドックス鉄道と並行してグリーンビル・アンド・ハドソン鉄道 (Greenville and Hudson Railway) を建設した。最終的に1900年にナショナル・ドックス鉄道を完全に買収した。