Øya var fra gammelt av kjent som Hermea. Ifølge tradisjonen døde Pave St. Pontian på Tavolara etter sin abdikasjon og eksil i 235. Det er antakeligvis samme øy som Tolar, som ble brukt av arabiske skip i 848-49 som base til angrep på den nærtliggende kysten.