经无偿解放所继承的黑奴，被当世视为慈善家。但震撼美国历史的史考特诉桑福德案中，作为大法官的托尼却主张：「即便是自由黑人，也不是《美国宪法》中所谓之美国公民，故史考特并无权在联邦法院提起诉讼。」这个判决引起轩然大波，且使时人重新思考黑奴的存废问题，成为了南北战争的原因。
早年.罗杰·布鲁克·托尼1777年3月17日出生于马里兰州卡尔弗特县一个烟草种植园主的奴隶主家庭，他接受了一系列私人教师的基础教育。15岁时，他进入宾夕法尼亚州的狄金森学院，1795年以优异的成绩毕业。作为一个没有希