George Peabody
1867年、クリフォードは法律の実務から引退し、ボストン・アンド・プロビデンス鉄道の社長になった.。その社長である間に、ボストンのパークスクエアに新しい終着駅を建設した。1849年にブラウン大学から法学博士号を受けており、1853年にはアマースト大学とハーバード大学からも受けた。ハーバード大学監督委員会の議長を数年間務めた。南北戦争後、ジョージ・ピーボディからピーボディ教育財団信託委員に指名され、戦後の南部で教育資源を建設する慈善事業を行った。その後駐ロシア大使や駐オスマン帝国大使などヨーロッパの多くの外交官任務を提案されたが、これらは辞退した。1873年と1875年、衰える健康を改善するために温かい気候の地に旅した。