Robertson devient populaire avec ses soldats en raison de son étrange préoccupation pour leur bien-être, à l'origine de son surnom, . Il sert lors de la campagne de Virginie septentrionale et de la campagne du Maryland, où son état de santé se détériore en raison des mois d'une campagne. Au cours de la bataille de South Mountain, il tombe d'épuisement et doit être évacué du champ de bataille. Il ne rejoint pas son régiment avant la bataille d'Antietam. Cependant, sa réputation comme combattant a été remarquée, et avec la promotion de Hood au commandement divisionnaire, Robertson est nommé pour lui succéder et est promu brigadier général le . Il participe à sa première action en tant que commandant de brigade au cours de la bataille de Fredericksburg.