Panaretos hadde minst to sønner som begge mistet livet i 1368 mens han var i Konstantinopel. Sønnen Konstantin døde av drukning femten år gammel, og Romanos døde av sykdom sytten år gammel. Panaretos var tydelig preget av dødsfallene fordi det er de eneste personlige hendelsene som er skrevet inn i hans krønike.