Sus padres fueron Hulen (a veces llamado también "Hulings") Miller y Margaret Witt quienes se casaron el 3 de enero de 1836 en el Condado de Unión, Indiana.