Navnet ble skrevet Hiortholm i 1563, Hjerthollum i 1603, Hiertholm i 1611, Indre og Ytre Hiertholm i 1667 Hjartholm i 1723. Navnet uttales ja'rtholm eller jæ'rthålm.