Robertson blev født i Woodford County i Kentucky, søn af de skotske immigranter Cornelius Robertson og hans kone Clarissa Hill (Keech) Robertson. Hans far døde, da Robertson kun var fire år gammel, og det efterlod hans mor næsten uden midler. Da kun ikke kunne forsørge sin familie ordentligt satte hun 4 år senere den unge Robertson i lære ved en hattemager, som tog drengen med, da han i 1824 flyttede til St. Louis, Missouri. Efter at have læst medicin på Transylvania University i Kentucky tog Robertson sin eksamen i 1835. Under Texasrevolutionen sluttede han sig til et kompagni af frivillige fra Kentucky, som løjtnant, og lagde planer om at rejse til Texas. De blev imidlertid opholdt i New Orleans og nåede først til Texas i september 1836. Der sluttede han sig til Army of Texas og blev udnævnt til kaptajn.