После смерти отца, Стефану было меньше десяти лет, поэтому титул деспота перешёл к нему лишь в 1520 году. После взятия турками Белграда и их набега на Срем в 1521 году, Стефан ненадолго пробыл в резиденции в опустошенном городе Купиник в Среме, а затем отправился на родину своего отца в Славонски-Брод.