В годы Первой и Второй мировой войн город находился под оккупацией (с 1915 по 1918 и, соответственно, с 1941 по 1945) и был в значительной мере разрушен. В 1999 году во время бомбардировок Югославии на Горни-Милановац было сброшено только несколько бомб, незначительно повредивших телебашню. Это послужило поводом для горькой шутки о том, что когда генералы НАТО планировали авиаудары, на часть карты с Горни-Милановацом кто-то поставил чашку кофе.