I og rundt Stallarholmen finnes mange fortidsminner, blant annet flere runesteiner og et godt bevart gravfelt fra den yngre jernalderen, Åsa gravfelt.