Робертсон родился в Кентукки, в округе Вудфорд, в семье шотландского эмигранта Корнелиуса Робертсона и его жены Клариссы Хилл (Кич) Робертсон. Его отец умер, когда Робертсону было всего 4 года, оставив семью практически в нищете. Не имея возможности содержать семью, мать отдала ребенка в подмастерья шляпнику, который переехал с ним в миссурийский Сент-Луис в 1824 году. Несмотря на полное отсутствие образования, один из докторов Сент-Луиса взял его к себе ассистентом. Это помогло ему впоследствии поступить в Трансильванский университет в Лексингтоне (Кентукки), где он изучал медицину. Он окончил университет в 1835, а когда в 1836 году началась Техасская Революция, Робертсон вступил в отряд кентуккийских добровольцев и собирался отправиться в Техас. Отряд задержался в Новом Орлеане и прибыл в Техас только в сентябре 1836 года. Робертсон вступил в армию республики Техас в звании капитана.