Milner-Barry també havia continuat jugant als escacs, i va competir a les Olimpíades d'escacs de 1952 i 1956. El viatge de 1956 a l'Olimpíada de Moscou fou arriscat, ja que els britànics i els soviètics, que havien estat aliats durant la Segona Guerra Mundial, estaven llavors enfrontats per la guerra freda, i el coneixement que Milner-Barry tenia sobre desencriptació del període de guerra, hauria estat de gran interès pels soviètics; de tota manera, el fet que els britànics havien pogut desxifrar els codis alemanys a escala massiva es va mantenir en secret fins a 1974, quan es va publicar el llibre de Frederick Winterbotham "The Ultra Secret".