В 1402 году среднеазиатский полководец Тамерлан разгромил османскую армию в Ангорской битве, где на стороне Баязида сражались сербы во главе со Стефаном. Оливера и её муж оказались в плену у Тамерлана. Примерно через год Тамерлан отпустил её, это произошло после смерти её мужа. Существуют разные версии обстоятельств её пребывания в плену. По одной из версий, Оливера и Баязид подвергались различным унижениям: Баязида посадили в клетку, кормили отбросами, а Оливеру заставили голой прислуживать во время пиров Тамерлану и его придворным. В отчаянии Баязид разбил себе голову о прутья клетки, не в силах наблюдать за унижением своей жены. Такое описание приводит византийский летописец Лаоник Халкокондил, а затем — Мавро Орбини в своей «Истории славян». Другие источники, в частности, Константин из Островицы, турецкие и монгольские источники, Константин Философ, Джордже Бранкович, Йован Раич, считают, что Тамерлан относился к пленным вполне уважительно. Однако источники сходятся в том, что Баязид по тем или иным причинам умер в плену, и Оливеру сразу отпустили. Сербский историк Стоян Новакович и другие историки полагают, что эта легенда, даже будучи вымышленной (о притеснениях в плену и самоубийстве Баязида) свидетельствует о большой эмоциональной привязанности султана к жене. Новакович пишет, что здесь находит отражение то, что Оливера в гареме завоевала сердце Баязида (которого описывают как человека очень страстного), и этим объясняется привилегированное положение семьи Лазаря. Оливера вернулась в Сербию весной 1403 года.