Selv om det er en sterk genetisk komponent involvert i utviklingen av synestesi, er det allikevel sterke indikasjoner på at miljøet også spiller en stor rolle. En teori som beskriver dette samspillet er den neonatale synestesiteorien, som går ut på at alle mennesker er født med synestetiske evner. Disse forsvinner imidlerid hos ikke-synestetikere gjennom pruning (Rouw, Scholte & Colizoli, 2011). Miljø synes å være avgjørende for om denne pruningen finner sted og i hvilken grad; for eksempel er barn fødte med en disposisjon for å lære språk, men miljøet bestemmer hvilket språk de lærer (Halliday, 1975).