Etter å ha fullført sine studier og ha arbeidet som fiolinist i Brünn ble han i 1792 annenkapellmester ved den tyske Opera i Lemberg, som hørte under Østerrike-Ungarn. I Lemberg giftet han seg med Klara Abt i 1796, men hun døde året etter. I 1799 dro han til Nye-Østpreussen sammen med den polske skuespilleren Wojciech Bogusławski. I Nye-Østpreussen ble Elsner sjefdirigent ved først Det tyske teater, siden det polske nasjonalteater i Warszawa.