Elsners musikalske utdannelse begynte i Grottkau, der han sang i et kirkekor. Allerede som barn gjorde han sine første forsøk på komposisjon. Som tolvåring fortsatte utdannelsen i Breslau, først ved dominikanernes klosterskole og så ved jesuittenes St.-Matthias-gymnasium. Der fikk han blant annet undervisning i fiolin, sang og generalbass. Han sang også i byens operakor og spilte i teaterorkesteret. Parallelt utviklet han sine kompositoriske ferdigheter. Oppførelsen av den (nå tapte) motetten ble godt mottatt.