У 1402 році середньоазіатський полководець Тимур розгромив османську армію в Ангорській битві, де на боці Баязида билися серби на чолі зі Стефаном. Олівера і її чоловік опинилися в полоні у Тамерлана. Приблизно через рік Тамерлан відпустив її, це сталося після смерті її чоловіка. Існують різні версії обставин її перебування в полоні. За однією з версій, Олівера і Баязид зазнавали різних принижень: Баязида посадили в клітку, годували рештками їжі, а Оліверу змусили голою прислужувати під час бенкетів Тамерлану і його придворним . У розпачі Баязид розбив собі голову об прути клітки, не в силах спостерігати за приниженням своєї дружини. Такий опис наводить візантійський літописець Лаонік Халкоконділ, а потім — Мавро Орбіні в своїй «Історії слов'ян». Інші джерела, зокрема, Костянтин з Ґміна Островіце, турецькі та татарські джерела, Костянтин Філософ, Джордже Бранкович, Йован Раїч, вважають, що Тамерлан ставився до полонених цілком шанобливо. Однак джерела сходяться в тому, що Баязид з тих чи інших причин помер в полоні, і Оліверу відразу відпустили. Сербський історик Стоян Новакович і інші історики вважають, що ця легенда, навіть будучи вигаданої (про утиски в полоні і самогубство Баязида) свідчить про велику емоційну прихильність султана до дружини. Новакович пише, що тут знаходить відображення те, що Олівера в гаремі завоювала серце Баязида (якого описують як людину дуже пристрасну), і цим пояснюється привілейоване становище сім'ї Лазаря. Олівера повернулася до Сербії навесні 1403 року.