生于麻塞诸塞州波士顿的一个废奴主义家庭，在当地是一户名门望族，有相当的政治影响力，5岁时搬到波士顿郊外的一座大农场。他少年时曾游学于瑞士、义大利、汉诺瓦、挪威及瑞典。后来父母般到纽约的史坦顿岛，加入废奴主义的文学社团。他回国后就学于圣琼斯大学(后来的福坦莫大学)预科，并在1856到1859年进入哈佛大学就读，加入陶瓷社，但未完成学业就提前肄业。
参加南北战争.
从军与麻省54自愿步兵团组建.南北战争开打后，罗伯特志愿从军，在1861年4月加入纽约第7步兵团，前