Pastore ble født i The Bronx i New York og er av italiensk-amerikansk opphav. På 1980-tallet drev han klubben New Rochelle, hvor han ble kjent med Matt Dillon og Kevin Dillon som overbeviste ham om å satse på en skuespillerkarriere.