Radoslav a scăpat probabil de o revoltă internă, atât timp cât socrul său, Teodor, a rămas puternic. În 1230, însă, Teodor a fost învins și capturat de împăratul bulgar Ioan Asan al II-lea în bătălia de la Klokotnița, după care poziția lui Radoslav pare să fi slăbit; o parte din nobilimea sa s-a revoltat în toamna anului 1233. Călugărul Teodosie a spus că nobilimea nu l-a mai sprijinit pe Radoslav și a stat în spatele tânărului Vladislav. Radoslav a fugit din țară între 1 septembrie 1233 și 4 februarie 1234 și nu a putut să recâștige regatul, dar în cele din urmă a revenit ca un călugăr. Radoslav a fugit la Dubrovnik (1233) împreună cu soția sa, și există indicii că Radoslav a organizat unele acțiuni împotriva lui Vladislav și că el a crezut că va reuși să se întoarcă pe tron - acest lucru este evident dintr-un document din 4 februarie 1234, care conține o promisiune de a ii se acorda privilegii comerciale Republicii Ragusan odată ce s-ar fi întors în Serbia ca rege. Din această cauză, Vladislav a început să amenințe Republica Ragusa, care apoi a trebuit să apeleze la Banul bosniac Ninoslav pentru ajutor și, întrucât acțiunea împotriva lui Vladislav nu a reușit, Radoslav a găsit refugiu la domnitorul Epirului Mihail al II-lea Komnenos Dukas din Dyrrhachium.