Oppstarten av Sem Idrettsforening var del av utviklingen av stasjonsbyen Sem (Semsbyen). Med jernbane (del av Vestfoldbanen) og egen togstasjon på plass fra 1881, fulgte økt virksomhet på flere områder. Flere mennesker bosatte seg her, og blant disse var noen som hadde drevet idrett i organiserte former.