Etter ham er det blitt navngitt mange landskaper og steder i USA, blant annet kvekerbosettingen Whittier i California og Mount Whittier i Carroll County i New Hampshire, i Ossipee Mountains—hans sommerresidens var i småstedet Ossipee i New Hampshire. Det er også stedene Whittier i Alaska og Whittier i Iowa, og bydelene Whittier båden i Minneapolis og i Denver. I Idaho er en liten by oppkalt etter hans mellomnavn, Greenleaf. Både Whittier College og Whittier Law School rt oppkalt etter ham, likeså en park i Saint Boniface i Winnipeg, og Whittier Education Campus i Washington, DC.