Kärdla vart først nemnd i 1564 som ein landsby busett av svenskar. Han blømde då det vart opna ein tekstilfabrikk her i 1830. Ei hamn vart bygt i 1849. Både hamna og fabrikken vart øydelagd under den andre verdskrigen. Kärdla vart offisielt ein kommune i 1920 og ein by i 1938.