I 1858 giftet han seg med Ellen O'Neill, de fikk en datter sammen - forfatterinnen Minnie L. Gilmore. Samme år stiftet han , et noe uvanlig musikkorps bestående av dobbelt så mange treblåsere som messingblåsere. Korpset avholdt sin første konsert 9. april 1859 og ble meget populært. Mest kjent er nok Gilmore - nettopp - for å ha dannet det som i ettertiden kan kalles mønsterbesetningen for amerikanske janitsjarkorps; dobbelt så mange treblåsere som messingblåsere. Gilmore er da også kjent som . En rekke klassespillere kom til å spille med Gilmore, deriblant Jules Levy, Matthew Arbuckle og Herbert Clarke.