Баркман узима учешће у Пољској кампањи, служивши у 9. чети СС пука „Германија“ као митраљезац. У тој кампањи је рањен и добија Златну значку за рањавање. На јесен 1941. године у време битке за Дњепропетровск (операција:Барбароса), поново је рањен, овај пут теже и награђен је Гвозденим крстом II степена. Крајем 1941. године Баркман је премештен у Холандију као инструктор европских СС добровољаца, но почетком 1942. године он је изразио жељу да се врати и да служи у оклопном пуку своје дивизије. Ернст Баркман је враћен на Источни фронт и током зиме 1942. године је прмештен у 2. чету 2. оклопног батаљона 2. СС оклопне дивизије „Рајх“. Јединица у којој се налазио Баркман је била наоружана тенковима Панцер III (топ 50-{mm}-), који су у сваком погледу заостајали за совјетским тенком Т-34. Почетком 1943. године 2. оклопни пук узима учешће у бици за Харков (види:Треће битка за Харков), зашта је Баркман награђен Гвозденим крстом I степена. Средином 1943. године он је премештен у 4. чету која је наоружана новим тенковима Панцер V Пантер.