伯格1931年出生于芝加哥一户犹太人家庭，5岁时全家迁往斯普林菲尔德，后又迁往底特律，并就读于克兰布鲁克（Cranbrook）学校。其母曾一度希望他能成为钢琴家，但在其母1946年7月死于一场车祸后，艾尔斯伯格便告别钢琴生涯。车祸发生在艾尔斯伯格全家前往丹佛的路上，当时天气暑热，驾车的丹尼尔的父亲陷入瞌睡之中，将车开到了路沟里。坐在车另一侧的丹尼尔的母亲和姐妹在车祸中丧命，坐在驾驶座后的丹尼尔也昏迷数天才恢复意识。车祸使丹尼尔意识到，即使是当时毫无恶意的把握方向的父亲，也有可能因为疏忽和未被提醒而犯下大错，