Kärdla (etter det opphavlege svenske namnet Kärrdal) ligg på nordaustkysten av Hiiumaa, ved Tarestebukta (Tareste laht) (svensk Tarrasviken). Søraust for byen ligg Kärdla-krateret, som er 455 millionar år gammalt. Fleire små elvar renn gjennom byen. Her finst òg ein artesisk brønn.