Drury vant en olympisk sølvmedalje i ishockey under vinter-OL 1924 i Chamonix. Han spilte på det amerikanske laget som kom på andreplass i OL-turneringen bak Canada. De begge transatlantiske lagene dominerte stort, USA vant sine tre kamper i gruppespillet med sammenlagt 52-0; Belgia 19-0, Frankrike 22-0 og Storbritannia 11-0. I semifinalen beseiret de Sverige med 20-0. USA tapte finale mot Canada med 1-6. OL-turneringen i ishockey var også verdensmesterskapet i ishockey. Spillerne på USAs OL-lag var; Clarence John Abel, Herbert Drury, Alphonse Lacroix, John Langley, John Lyons, Justin McCarthy, Willard Rice, Irving Small og Frank Synott. Dury scoret totalt 22 mål i turneringen, blant annet det eneste amerikanske målet i finalen.