Kärdla er først nevnt i skriftlige kilder i 1564 som svensk bosetning. Stedet fikk bystatus i 1938. Kärdla ble stygt skadet av tysk bombing under andre verdenskrig. Havna som da ble ødelagt er ennå ikke gjenoppbygd.