Робертсон проявлял необычно много вниманию к условиям содержания солдат, за что в армии его любили и за проявленную заботливость прозвали «тетушка Полли». После сражений на Полуострове бригада участвовала в Северовирджинской кампании. Робертсон командовал полком во втором сражении при Булл-Ран, где был ранен в пах. Несмотря на ранение он пытался продолжит исполнять свои обязанности и участвовал в мэрилендской кампании, где его здоровье сильно пошатнулось. Во время сражения у Южной горы он выбыл из строя из-за осложнений, вызванных ранением, и поэтому не участвовал в сражении при Энтитеме. Несмотря на это он заслужил хорошую репутацию и после того, как Джон Худ перешел на дивизионное командование, техасскую бригаду передали Робертсону и 1 ноября 1862 года он стал бригадным генералом. Первым сражением в его карьере генерала стало сражение при Фредериксберге.