Su padre, William, un labrador, movió a su familia a Poultney en el condado de Rutland, Vermont, cuándo Cowdery tenía tres años.