HiVe ble etablert 1. august 1994 som et resultat av at tre statlige høgskoler i Horten og Tønsberg ble slått sammen som en del av Høgskolereformen i 1994. De tre høgskolene som fusjonerte var Eik lærerhøgskole, Høgskolesenteret i Vestfold (tidligere Tønsberg Maritime Høgskole og Horten ingeniørhøgskole) og Vestfold sykepleierhøgskole. De fire høyskolene hadde allerede fra 1989 samarbeidet om å tilby et studium i økonomi og administrasjon.