Sebelum Penaklukan Siberia, pengalaman tempur Yermak mencakup memimpin detasemen Cossack untuk tsar di Perang Livonian 1558-83 serta menjarah kapal-kapal dagang. Berdasarkan legenda dan lagu-lagu rakyat, selama bertahun-tahun Yermak telah merampok dan menjarah Volga bersama hetman Ivan Kolzo dan empat pemimpin Cossack lainnya. Sejarawan Valerie Kivelson menyebut kelompok Yermak sebagai "geng preman." Seperti banyak Cossack lainnya, geng Yermak terlibat dalam perdagangan "pencuri" [""vorovskim" remeslom"]. Adalah kekhasan Cossack untuk terlibat dalam pembajakan di Laut Azov atau Laut Kaspia dan merampok berbagai utusan dan pedagang Rusia atau Persia. Meskipun merupakan bandit, Yermak bereputasi sebagai petarung Rusia yang ulung dan loyal. Melalui pengalamannya bertempur di Perang Livonian, ia belajar taktik perang dan unggul melampaui hetman (komandan militer Polandia atau Cossack) lain dari segi keterampilan.