Graduado del Amherst County High School en Amherst, Virginia, y del Lynchburg College, Bailey firmó su primer contrato profesional con Bravos de Atlanta en 1979 como receptor.