Byens navn kommer av Aa kirke, som ligger i byen. Aa kirke er Bornholms største og antakelig også eldste kirke, i romansk stil fra omkring 1100. På denne tiden var dette den viktigste byen på Bornholm.