Det finnes spor etter chumash-indianere i Isla Vista. I tidlig moderne tid utgjorde dagens Isla Vista en del av landområdet , som ble solgt av den meksikanske stat i 1842 til irsk-amerikaneren Nicolas A. Den. Dette landområdet skiftet hender en rekke ganger, og i 1925 oppsto navnet Isla Vista for første gang som en geografisk inndeling.