Idrettslaget ble stiftet 29. september 1900 under navnet Vestnæs Idrætslag, skiftet seinere navn til Vestnes Turn & Idrettslag. Vestnes Varfjell IL er en sammenslutning av dette laget og Fotballklubben Varfjell i 1994. FK Varfjell var i sin tur stiftet 29. desember 1967 etter en sammenslutning av fotballgruppene i Vestnes Turn & IL og Tresfjord IL (stiftet 1945 (1904)).