Han ble født som Garik (eller Harry) Kimovich Weinstein i Baku i Den aserbajdsjanske sosialistiske sovjetrepublikk (nå Aserbajdsjan). Hans armenske mors etternavn var Kasparian, og er den russifiserte versjonen av dette navnet. Faren Kim Weinstein hadde jødisk bakgrunn.