Bienstock lahir dari sebuah keluarga Yahudi di Swiss pada 24 April 1923, dan pindah ke Wina dengan keluarganya saat ia berusia tiga tahun. Setelah ke Anschluss, ia berimigrasi ke Amerika Serikat pada 1938, tepat sebelum pecahnya Perang Dunia II, dengan saudaranya Johnny Bienstock, yang kemudian mendirikan Big Top Records. Keluarganya akhirnya singgah di New York City setelah orangtuanya datang ke AS pada 1940.