Det er kun en eneste vei, B2145, som går inn og ut av byen, og som ved et tidspunkt ble kalt for «fergen», krysser en bro over viken ved havnen Pagham. Ved et tidspunkt var Selsey utilgjengelig ved høyvann, og en båt var stasjonert som en ferge for å frakte hester og folk til og fra Sidlesham.