Andreas Ludwig Priwin ble født i en jødisk familie i Berlin. Han var sønn av Charlotte (født Epstein) og Jack Previn (Jakob Priwin), som var advokat, dommer og musikklærer. Foreldrene var helt uinteressert i religion.