Berger ble født i Cincinnati i Ohio. Under den andre verdenskrig slåss han i Europa i den amerikanske hæren. Etter krigen studerte han ved Universitetet i Cincinnati, og så ved Columbia University. Han arbeidet som bibliotekar og journalist før han fikk utgitt sin første roman, , i 1958. Berger er kanskje best kjent for sin syrlige roman (dansk utgave ) fra 1964, som siden ble filmatisert med samme tittel, , og hvor Dustin Hoffman hadde en av sine beste roller.