Vuoden 1964 Tokion olympialaiset olivat McTaggartille kolmannet. Sarja oli edelleen 63,5 kg. Yhden voiton jälkeen hän kohtasi jälleen Unkarin Janos Kajdin, mutta nyt tuli tappio ja putoaminen olympiaturnauksesta. Vuonna 1965 oli jälleen EM-kisavuosi. Kisat pidettiin Itä-Berliinissä. Dick McTaggartille ne olivat viidennet EM-kisat. Kisat päättyivät hänellä lyhyeen, sillä Itävallan Rupert König otti hänestä pistevoiton.