Ludwig von Tarent war der einzige von insgesamt vier Ehemännern der Königin, der auch zum Mitkönig gekrönt wurde, in der Folge dominierten er und sein enger Gefolgsmann Niccolò Acciaiuoli die Politik des Königreichs. Ludwigs ehrgeizigstes Ziel war die Eroberung der Insel Sizilien, die im Jahr 1282 in der sogenannten sizilianischen Vesper dem Haus Anjou verloren gegangen war. 1354 eroberte er Palermo und 1356 Messina. Der Krieg verschlang das gesamte Staatsvermögen, so dass Ludwig und seine Frau 1355 vom Papst exkommuniziert wurden, weil sie nicht mehr in der Lage waren, die fälligen Zahlungen an ihren Lehnsherren zu leisten. Die Ordnung zerfiel in ihrem Königreich durch unzählige Söldnerbanden, die das Land ausplünderten und durch eine Fehde gegen ihre Vettern aus der Linie Anjou-Durazzo. Auf Sizilien wandte sich die Lage ebenfalls gegen Ludwig und Johanna, nachdem dort König Friedrich III. mit der Hilfe Aragóns in die Offensive ging, 1357 bei Acireale siegte und 1361 Messina zurückeroberte.