Тем временем в Мадриде, Толедо и Бургос начало возникать недовольство против французов, несмотря на слухи о том, что Карл IV вернётся на престол. В Мадриде демонстрация французской военной мощи Мюратом вызывало гнев у жителей Мадрида. 1 мая свита великого герцога Берга была освистана толпой. Следующее событие было спровоцировано письмом, переданным Мюратом хунте 30 апреля, в котором Карл IV просил отправить к нему его детей: королеву Этрурии и инфанта Франсиско де Паулы. Первое не вызвало возражений, но отправлять инфанта хунта поначалу категорически отказалась. После того, как слухи об этом просочились наружу, перед дворцом собралась толпа, и в присутствии помощника Мюрата Августо Лагранжа начались народные возмущения, на что Мюрат отреагировал, выведя батальон для их разгона, что вызвало 2 мая восстание всего Мадрида. Восстание задержало отъезд королевской семьи; 3-го в путь отправился инфант Франциско, а 4-го инфант Антонио.