Baldwin er broren til skuespillerne Alec, Daniel og Stephen. Baldwin ble oppdratt i en katolsk familie av både irsk, engelsk og fransk avstamming. Han ble utdannet ved Berner High School og Binghamton University og han har en grad i statsvitenskap og er kjent for sin støtte og sine bidrag til Binghamton's brytelag.