Byen har hatt kjøpstadsrettigheter og deler av den har flere eldre bindingsverkhus fra 1700- og 1800-tallet. På torvet ligger byens gamle rådhus fra 1789, det ble fredet i 1918. Fregatten Jylland ligger i Ebeltoft.