Anholt har vært bebodd siden yngre steinalder, som har etterlatt seg spesielt mange arkeologiske spor, Det finnes ennå rester av flintverksteder i Ørkenen. Frem til freden i Brømsebro i 1645 hørte Anholt til Morup sogn i Halland som den gang var dansk område, og det ligger anholtere begravet i Morup, der både vielser og begravelser fant sted. Morup kirke ble kalt «den røde kirke», fordi den var malt rød og var et kjent sjømerke. Anholterne slo ofte ulike høytider sammen, da det iblant var vanskelig å seile over til fastlandet i de små båtene. Den lokale dialekten var imidlertid østjysk.