Nacido en Požarevac, en vísperas de la Segunda Guerra Mundial, de padres procedentes de Montenegro; Živojin Vasović, empleado de oficina de impuestos, y Jelka Laušević, ama de casa. El joven Velibor fue el noveno hijo de la familia. Tuvo cuatro hermanos mayores y tres hermanas mayores, mientras que otra de sus hermanas murió antes de nacer. Con la invasión nazi y posterior desmembramiento del reino de Yugoslavia en abril de 1941, el padre de Vasović fue tomado prisionero por los alemanes y pasó cuatro años en cautiverio, mientras que sus hermanos mayores se unieron al movimiento de resistencia partisana.