Pendleton dro tilbake til Lexington og hans stilling som rektor ved Grace Church som han hadde resten av livet. Han opprettholdt sitt nære vennskap med Matthew Fontaine Maury, Francis Henney Smith og Robert E. Lee, og han spilte en betydelig rolle i å overtale sin tidligere kommandant til å flytte til Lexington og overta presidentskapet i institusjonen som skulle bli Washington and Lee University. Lee ble medlem av Pendletons menighet, og Lees siste offentlige handling i 1870 var i et møte i Grace Church hvor han ledet en gruppe av kirkens ledere hvor det ble bestemt å øke Pendletons lønn.