Navnet kommer av mannsnamnet eller av , i betydninga «den lille øya som ligger ved den store», det vil si Vanna. Karlsøya ligger altså rett sør for Vanna og nordøst for Reinøya.