Sem Idrettsforening ble opprettet i 1921, og foreningen eier Sem idrettspark, som ligger sentralt plassert i Semsbyen, på grunn som tidligere lå under gården Tem. En annen viktig arena for idretten er Semsbyhallen, som ligger ved Sem skole og eies og driftes av Tønsberg kommune.