Първоначално Ермак се издига като атаман на една от многобройните казашки групи по течението на Волга, които периодично воюват с Кримското ханство. Според някои сведения той участва в боевете около Смоленск по време на Ливонската война. През лятото на 1579 година, начело на повече от 500 казаци, постъпва на служба при братя Строганови, като поема защитата на техните селища по горното течение на Кама от нападенията на Сибирското ханство. Строганови са едри търговци, които са получили от цар Иван Грозни монополни права за търговия и колонизиране на Приуралието и Сибир.