Fire år senere kvalifiserte Dillard seg til OL i 1952 i spesialdisiplinen, 110 meter hekk. Han tok gullmedaljen foran landsmannen Jack Davis. Senere i lekene tok han sin fjerde gullmedalje da USA forsvarte gullet fra London i 1948 på 4 × 100 m stafett.