Во время гражданской войны в Византии и последующим свержением Иоанна VI Кантакузина, Мануил смог сохранить свою власть в Морее. Византийский император Иоанн V Палеолог послал против него отряд во главе с братьями Михаилом и Андреем Асенями. По прибытии на Пелопоннес осенью 1355 года, братья Асени получили поддержку некоторых местных архонтов, не довольных властью деспота, и смогли захватить большую часть владений Мануила. Они разграбили Венецианские владения, чтобы собрать больше последователей, раздавая добычу. Однако подавляющее число населения и венецианцы приняли сторону деспота Мануила и византийские войска были изгнаны из Мореи. Видя популярность Кантакузина, император Иоанн V был вынужден признать власть деспота Мануила в Морее.