Il naît dans une ferme appartenant à George Washington. Sa famille commence à migrer dès ses quinze ans, d'abord en Pennsylvanie puis dans l'Ohio. En 1811, ils s'installent dans le comté de Stark et, l'année suivante, Clyman intègre l'United States Army Rangers pour combattre les Amérindiens Chaouanons durant la guerre anglo-américaine. À l'issue de celle-ci, il acquiert une ferme dans l'Indiana et commerce avec les Amérindiens locaux. En 1821, il devient arpenteur près de la rivière Little Vermilion, dans l'Illinois. Il est recruté par un des fils d'Alexander Hamilton, qui effectue des études pour le compte du gouvernement, afin d'explorer les rives de la rivière Sangamon.