Baldwin estuvo casado con Joanne Smith, con la que tiene una hija, Avis Ann, nacida en 2008.