Rahway i otaczające miasto ziemia należały do Indian ze szczepu Lenni Lenape. Miasto zostało nazwane od lokalnego przywódcy Indian o nazwie Rahwack. Osadnicy z Europy założyli osadę w tym miejscu w roku 1664 poprzez zakup ziemi od Indian. Anglicy zakupili ziemie u ujścia rzeki Raritan, dzisiejsza część hrabstwa Union, hrabstwa Somerset, hrabstwa Middlesex, Morris i hrabstwa Essex. Rahway nie była miejscowością zbyt aktywną w czasie rewolucji amerykańskiej, ponieważ w pobliżu znajdowały się większe ośrodki kolonistów jak Staten Island, Elizabeth, Perth Amboy. Jednak w styczniu 1777 roku rebelianci pokonują siły brytyjskie w bitwie o Spanktown (okolica Rahway), zabijając ok. 100 brytyjskich żołnierzy. Abraham Clark, sygnatariusz Deklaracji Niepodległości Stanów Zjednoczonych, jest pochowany na cmentarzu w Rahway. Po uzyskaniu niepodległości w mieście istniała narodowa mennica monet, tam też zaprezentowano inskrypcję „E Pluribus Unum" („Z wielości, jedność") – (zobacz: Wielka Pieczęć Stanów Zjednoczonych). Również w Rahway zapoczątkowała swą działalność poczta amerykańska 1791 (w tym roku istniało oprócz Rahway, jeszcze pięć innych urzędów pocztowych we wszystkich stanach). Miasto rozwijało się wraz z linią kolejową Nowy Jork a Filadelfią. Bliskość spławnej rzeki Rahway również przyczyniła się do rozwoju miasta. W mieście rosła emigracja z Anglii, Irlandii i Niemiec. W roku 1858 Rahway nabywa praw miejskich. Miasto staje się siedzibą wielu kompanii: Regina Music, Box Company, Wheatena, Mershon Bros i Merck &amp; Co., Inc. Po drugiej wojnie większość fabryk w mieście zostaje zamknięta, wyjątek to Merck &amp; Co., kompania ta ma fabrykę w Rahway od 1903 roku. Od 1990 miasto odżywa, powstają nowe restauracje, galerie sztuki, nowe budynki mieszkalne, teatr, nowa stacja kolejowa. Miasto (obecnie 2005) ma najniższy podatek od nieruchomości w hrabstwie Union.