Koncem července 1914 byl v rámci mobilizace odveden a prezentován u náhradního praporu svého předválečného pluku v Hradci Králové a vzápětí s ním odešel jako velitel čety na východní frontu. Zde padl v červenci 1915 u Lublina do ruského zajetí a následující dva roky pobýval v několika zajateckých táborech carského Ruska. Začátkem roku 1917 se nalézal v zajateckém táboře v Rjazani, kde se v únoru přihlásil do čs. legií. V polovině července téhož roku byl Josef Zmek prezentován u 5. čs. střeleckého pluku v Borispolu, kde absolvoval dvouměsíční důstojnickou školu a následně byl jako velitel čety přidělen k 7. čs. střeleckému pluku v Berezani. U tohoto útvaru pak konal službu až do konce srpna 1918, vyjma období od října 1917 do ledna 1918, kdy působil coby emisar pro nábor dobrovolců do čs. legií v zajateckých táborech Permské gubernie. V březnu 1918 se spolu se svým plukem nejprve zúčastnil bojů u Bachmače a po vypuknutí konfliktu s bolševiky i všech důležitých bojů od Mariinska až po Čitu. Koncem srpna 1918 byl ustanoven velitelem 11. čs. střeleckého pluku, s nímž od září do konce listopadu 1918 bojoval proti bolševikům na Samarské frontě. Na přelomu května a června 1919 pak bojoval na řece Maně a v lednu a únoru 1920 během ústupových bojů 3. čs. střelecké divize na sibiřské magistrále. V polovině února 1920 onemocněl skvrnitým tyfem a následující dva měsíce strávil v lazaretu. V červnu 1920 odplul z Vladivostoku a 1.8.1920 se vrátil zpět do vlasti v hodnosti majora ruských legií.