Det eldste kjente navnet på øya er Hítr, og navnet ble senere til Hitterø. Hidra har hatt bosetting siden steinalderen og det er mange funn derfra og framover som viser bosettinger i kontakt med utlandet. De eldste funn er datert til rundt 9500 år før vår tid. Det er gjort rike funn fra vikingtiden og en runestein som ble funnet på Reistad, Reistadsteinen, har følgende innskrift: «Yðingr ek Vakr nam reit» (moderne bokmål: )På Hæstad ble det i 1845 funnet en gullskatt bestående av en armring og en stor halsring i gull. Funnene er utstilt på Historisk museum i Oslo.