Карло Роберт је водио ратове са српским владарима Стефаном Милутином и царем Душаном Силним. Карло Роберт је бившем српском краљу Драгутину дао на управу север Босне, Срем, Мачву и Београд. Драгутинов син Владислав признаје врховну власт краља Карла Роберта, због напада Милутина на Драгутинову земљу. Милутин 1316. заузима Мачву и Београд од Угара, али они враћају Београд већ 1319. Рат се наставља до 1322., а граница се враћа на Дунав. После битке код Велбужда Србија постаје главна сила на Балкану, а Угарска страхује од њеног ширења. Зато, 1334. Карло Роберт упада у Србију, и заузима Мачву и напада Шумадију. Српски краљ (касније цар) Душан окупља велику војску и туче Угаре у Шумадији. Сам Карло је рањен, а Угарска војска је у расулу. Душан затим враћа Мачву и Београд и напада Угарску преко Дунава. Србија такође напада Босну, угарског вазала, и заузима део Далмације. Босна пада под српски утицај, и Угарска се повлачи на Саву и Дунав и плаћа велику ратну одштету српском владару. Мировним уговором Угари престају да покатоличавају Србе за време Душанове власти. Карло Роберт умире 1342. године, а Угарски утицај слаби на југу.