Svínoy har vært bebodd siden landnåmet i vikingtiden. Øyas navn kan vise til svinehold eller en fjellformasjon som minnet om en gris. Et sagn gjengitt av V.U. Hammershaimb forteller at Svínoy var en flytende øy innhyllet i tåke, men at en purke fra Viðareiði svømte ut hit og ble drektig, fordi øya var full av griser. Siden har øya ligget i ro.