Opprinnelig var Skilsøy en øy på ca. 110 mål, adskilt fra Pusnes og resten av Tromøya av Grunnesund innerst i Fjellvig. Navnet kan komme av dette skillet, men kan også betegne at øya ligger i skillet mellom Galtesund og Tromøysund.