Dědina byla založena ve 14. století na počátku osmanské nadvlády jako horské útočiště trnovské šlechty. V 18. a 19. století se stala správním střediskem okolních 62 vsí a v té době nesla jméno Acar (Аджар). Bývala významným trhovým místem a měla odhadem 5 000 obyvatel. Od 17. století se Svežen postupně zařadil mezi významná centra bulharského knihovnictví. Zdejší škola byla založena v roce 1850. Místní obyvatelé se aktivně zúčastnili Dubnového povstání a během rusko-turecké války obec v roce 1877 vypálily oddíly Sulejmana paši tak, že z 1 200 domů zůstalo jen 100, a sťaly zde na 680 pochytaných mužů. Současný název nese dědina od roku 1934.