Begge hans foreldre var fra familier av jødisk avstamning, men hadde konvertert til katolisismen før Viktor ble født. Hans far, Maximilian, var militæroffiser i hæren til det østerriksk-ungarske riket. Under første verdenskrig ble han forfremmet til oberst og adlet.