Kolonien Nya Sverige ble grunnlagt ved Delawareelven på 1630-tallet. Størstedelen av den svenske befolkningen var på vestsiden av elven, men etter at Ny-Nederlands Fort Nassau ble tatt i bruk igjen for å utfordre svenskene, ble Fort Nya Elfsborg grunnlagt i det som er det senere Salem County. Fort Nya Elfsborg lå mellom dagens Salem og Alloway Creek nær Bridgeport. Kolonien Nya Sverige grunnla to hovedsaklige bosetninger i New Jersey: Sveaborg, (senere Swedesboro) og Nya Stockholm (senere Bridgeport). Trinity Church i Swedesboro var Svenska kyrkans sted i området.