I likhet med sin yngre bror, trombonisten Edwin Eugene Bagley (1857–1922) som komponerte marsjen , syslet også Ezra med komposisjon. Mest kjent er nok hans kornettsolo . Ezra Bagley er likevel kanskje mest kjent for - sammen med Walter Emmerson - å ha erstattet stjernekornettistene Benjamin Bent og Matthew Arbuckle som henholdsvis principalkornettist og solokornettist i the Patrick Gilmore Band i forbindelse med en turné til Europa i 1878. Sammen med Walter Emmerson kom dermed Ezra Bagley til å bli to av de første kornettistene med amerikansk herkomst som gjorde seg bemerket på et annet kontinent.