Den opprinnelige bruken av tittelen despot kom fra Bysants. Den bysantinske keiser gav tittelen, som var den høyeste innen hoffet, til sine sønner eller svigersønner. Den var ikke arvelig. Det første bevis for tittelens bruk finnes fra keiser Manuel I Komnenos som gav tittelen til sin svigersønn Bela III av Ungarn i 1163.