Esau var sønn av adelsmannen Manente Buondelmonti og hans kone Lapa Acciaiuoli fra Firenze. Familien var velstående forretningsfolk og Esau dro til greske områder for å drive handel sammen sine slektninger. I 1379 ble han tatt til fange under en konfrontasjon med despoten Thomas Preljubović i Epirus. Han satt flere år fengslet, men fikk et forhold til despotens kone Maria Angelina Dukaina Palaiologina, og da Thomas ble drept i 1385 giftet han seg med enken og ble i 1386 utnevnt til despot i riket. Det er antatt at Maria selv sto bak attentatet mot ektemannen Thomas, men grunnen er uviss. Det er hevdet at forholdet til Esau kan være årsaken til attentatet, men det er også hevdet at grunnen var mannens mishandling av sin kone og at forholdet til Esau oppsto senere.