1497-ben hadjáratot vezetett Moldvába. Seregeit III. István moldvai fejedelem kérésére indította el a tatárok ellen, de közben azt remélte, hogy elfoglalhatja Kilia és Belgorod városát a Duna, ill. a Dnyeszter torkolatánál. István aggódott a király célkitűzései miatt és azt gyanította, János meg akarja fosztani trónjától, hogy helyére saját testvérét, a lengyel Zsigmond herceget ültesse. Amikor Moldva területére léptek a lengyel csapatok, heves ellenállásba ütköztek, és 1497-ben a koźmini csatában súlyos vereséget szenvedtek.