El padre de Paunović, Blagoje Paunović, también fue futbolista profesional. jugó para en la Eurocopa de 1968, y tras su retiro fue entrenador.