Robertson naît dans le comté de Woodford, au Kentucky, le fils de l'immigrant Écossais Cornelius Robertson et de son épouse Clarissa Hill (Keech) Robertson. Lorsque Robertson n'a que quatre ans lorsque son père meurt, laissant sa mère presque sans ressource. Incapable de bien soutenir sa famille, elle met en apprentissage le jeune Robertson, quatre ans plus tard à un chapelier, qui s'installe avec le garçon en 1824 à St. Louis. Après des études de médecine à l'université Transylvania, au Kentucky, Robertson obtient son diplôme en 1835. Avec la révolution du Texas qui devient un sujet national, Robertson rejoint une compagnie de volontaires du Kentucky en tant que lieutenant et fait des plans pour aller au Texas. Cependant, ils sont retardés à La Nouvelle-Orléans et n'arrivent pas dans la république du Texas avant . Là, il rejoint l'armée du Texas et obtient une commission de capitaine.