Sem kommune grenset til: i nord Borre (dagens Horten) og Åsgårdstrand (til 1965, da Borre ble slått sammen med Åsgårdstrand), i sør Tønsberg og Nøtterøy (dagens Færder), i vest og sørvest Stokke (dagens Sandefjord), i nordvest Ramnes og Våle (dagens Tønsberg).