A partire dal 1494, Giovanni Alberto iniziò i preparativi per una crociata contro i turchi che prevedeva la collaborazione tra i polacchi, il marchese Giovanni I di Brandeburgo ed il voivoda Ştefan cel Mare di Moldavia. Nel corso del 1496, Giovanni Alberto riuscì faticosamente a raccogliere un'armata di 80.000 polacchi ma la sua crociata si tramutò in una contesa con i moldavi per il controllo sulla Galizia: voivoda Ştefan temette un tradimento da parte di Giovanni Alberto, sospettato di voler sostituire il moldavo con suo fratello Sigismondo Jagellone. La Battaglia della Foresta di Cosmin chiuse la contesa in favore del voivoda Ştefan che risolse comunque di allearsi con il sultano Bayezid II per cautelarsi contro il potere polacco. Al suo rientro in Polonia, Giovanni Alberto accusò della disastrosa sconfitta alcuni esponenti insubordinati della "szlachta" e confiscò le loro terre.