Son grand-père maternel, William Ellery, a été l'un des signataires de la Déclaration d'indépendance américaine , et son père, William Channing, était un avocat renommé à Newport. Il semble avoir reçu, particulièrement, de sa mère sa conscience et sa rectitude morales, et de son père, ses goûts simples et élégants.