W 1805 r., po utracie roli miasta sejmowego, Viborg traci spore wpływy związane z pobytem w mieście sejmikujących. W 1817 r. w Viborgu założono pierwszą bibliotekę publiczną na Jutlandii. Ponowny rozwój miasta nastąpił dopiero w II połowie XIX w. po wybudowaniu kolei (1863) i rozpoczęciu zagospodarowywania okolicznych wrzosowisk. W 1850 r. ludność miasta osiągnęła 4 039 mieszkańców. W 1864 r. podczas wojny o Szlezwik, miasto było okupowane przez Prusaków. W latach 1865-2001 w mieście stacjonował garnizon wojskowy. Od 1919 r. siedziba Zachodniego Sądu Okręgowego. W mieście znajduje się stacja kolejowa Viborg. Obecny budynek został wzniesiony w 1896 r. W 1939 r. miasto otrzymało dworzec autobusowy. W kwietniu 1940 Viborg został okupowany przez wojska niemieckie, które rozlokowały się w lokalnych koszarach. W 1943 r. przeprowadzono w mieście pierwszą akcję sabotażową wysadzając w powietrze 5 samochodów transportowych pozostających w służbie niemieckiej. Akcje sabotażowe były kontynuowane do końca wojny. W 1945 r. w mieście pojawili się uchodźcy z Niemiec, którzy zostali rozlokowani w budynkach użyteczności publicznej w Viborgu zanim po zakończeniu działań wojennych nie wysłano ich do obozów dla uchodźców. W 1956 r. Viborg przyjął grupę 368 uchodźców węgierskich.