Pennebaker ble født som sønn av Lucille Levick (pikenavn Deemer) og John Paul Pennebaker, som var profesjonell fotograf.