Baldwin nació en Massapequa, Nueva York, y fue criado, como el resto de sus hermanos, en una familia católica de ascendencia irlandesa, inglesa y francesa.