Йован Оливер был одним из самых могущественных вельмож при Стефане Уроше Душане и оказывал на него значительное влияние, как об этом свидетельствуют переговоры в июле 1342 года, которые привели к тому, что Стефан Урош Душан принял решение поддержать Иоанна VI Кантазузина в гражданской войне в Византии (1341—1347), а его сын Мануил Кантакузин должен был жениться на дочери Йована Оливера.