Vetsera var det tredje av i alt fire barn av den østerrikske diplomat, baron Albin Vetsera (1825-1887), og Helene Baltazzi (1847-1925), som stammet fra en av de rikste familiene i Hellas.