Ben Bernankes far het Philip og var farmasøyt og deltidsmanager ved et teater, mens hans mor Edna var lærerinne. Familien var jødisk og gikk regelmessig til en synagoge kalt i deres hjemsted Dillon i Sør-Carolina. Bestefaren Jonas Bernanke innvandret til USA fra Østerrike-Ungarn. Besteforeldrene Harold og Marcia Friedman på morssiden innvandret fra Litauen.