Dillards store forbilde var den firedobbelte olympiamesteren Jesse Owens, som i likhet med Dillard stammet fra Cleveland. På slutten av 1940-årene var Dillard en av verdens fremste hekkeløpere. I de amerikanske uttaksløpene til OL i 1948, ble han slått ut på 110 meter hekk, men han greide å kvalifisere seg til lekene ved å komme på tredjeplass på 100 meter.