Panofsky ble født i Hannover. Han studerte i Berlin, München og Freiburg/Breslau. Han tok sin doktorgrad i 1914 ved Universitetet i Freiburg. I årene 1926–1933 var han professor i kunsthistorie ved Universitetet i Hamburg. Han hadde jødisk bakgrunn og da nazistene kom til makten, emigrerte han til USA og ble der professor ved Princeton University. Hans bakgrunn var en tradisjon influert av Aby Warburg og Ernst Cassirer.