Mot sørvest grenser Vallersund mot nabobygdene Melum, Val og Oksvoll. Mot nordøst grenser Vallersund mot bygdene Teksdal og Lysøysund.