顿三十天，5月改隶属于麻塞诸塞州第2步兵团，军阶为少尉。1862年下半年，罗伯特的父亲提出筹组非裔美国人部队的构想，并邀请罗伯特担任指挥官。起初罗伯特婉拒，后经深思熟虑后接受此提议，并就任麻塞诸塞州第54自愿步兵团指挥官，1863年3月31日，罗伯特就任少校，同年4月17日接任上校。
反对黑人降薪.由于黑人军队仍旧授到各方歧视，甚至调降黑人士兵的薪资，引发罗伯特号召士兵发动「拒领薪资」的活动，并得到同僚军团麻塞诸塞州第55步兵团的响应，联合杯葛联邦政府的决策，直到1864年国会通过