Han var medlem av en rekke organisasjoner og foreninger, inkludert American Bar Association, den amerikanskeJudicature Society, de såkalte Lojale Legion, The Society of Cincinnati, frimurerne, Shriners, Rotary Club og Kappa Sigma. Innen religion var han en kongregasjonalistisk kristen. Austin ble minnet i en marmor-statue av ham i Vermont State House hall i delstaten Vermont hvor han kom fra.