Nejstarší částí města je Velká Čermná (do 1936 "Tscherbeney", 1936–1945 "Grenzeck"; potom "Czermna"), s historií sahající do 14. století. Tehdejší Lipoltov patřil s Čermnou k panství hradu Homole. Poté tento kraj spravovala vrchnost z Náchoda, v roce 1623 získali panství jako konfiskát po Smiřických Erdman Trčka z Lípy. Poté, co je společně s Albrechtem z Valdštejna zavražděn roku 1634 v Chebu, stává se Chudoba spolu s okolními obcemi součástí panského majorátu se sídlem v Novém Městě nad Metují. Celé zdejší panství získal od císaře za spoluúčast při vraždě Valdštejna a Trčky lacino skotský důstojník Walter von Leslie. Poté se majitelé často střídali. V roce 1742 za panování Marie Terezie bylo území postoupeno Prusku Fridricha Velikého. Stalo se tak později součástí Německého císařství (1871–1918) a Německé říše. Koncem 2. světové války byl v Žakši "(Sackisch)" pracovní koncentrační tábor pro židovské ženy. Po porážce Německa za druhé světové války mělo o území zájem i Československo. Rozhodnutím jaltské konference však připadlo Polsku, jehož tvoří dodnes součást. Po roce 1945 byly z obce odsunuti němečtí i čeští obyvatelé a nahrazení polskými vysídlenci z východní části Polska obsazené Sovětským svazem. Stejný rok po osídlení Poláky obec dostala prvně městská práva. Malá skupina Čechu a Němců žijících v obci měla ještě v letech 1951–1960, respektive 1947–1955, své vlastní školy.