Truman ble ikke gjenvalgt i 1924, da president Calvin Coolidge stod i spissen for en republikansk bølge. I de to neste årene solgte han medlemskap i bilklubber, og ble overbevist om at offentlig tjeneste var tryggere for en snart middelaldrende mann uten nevneverdig suksess i forretningslivet. I 1926 ble Truman valgt til rettens formann, og ble gjenvalgt i 1930. I 1930 bidro Truman til en tiårsplan for offentlige arbeider i Jackson County og Kansas City. Planen inneholdt blant annet en rekke veiprosjekter, en ny rettsbygning og en serie av monumenter for å hedre nybyggerkvinner. Han opparbeidet tillit hos lokale opinionsledere som vanligvis stod i opposisjon til Pendergast.