В Заграничном походе сражался при Бауцене и был удостоен ордена св. Анны 2-й степени. За Кульмское сражение, где лично ему сдался дивизионный генерал Ж. Д. Вандам, Колзаков был награждён золотым оружием с надписью «За храбрость» и особым немецким Железным крестом (т. н. Кульмским крестом). Принимал участие в Битве народов у Лейпцига, за отличие в которой получил орден св. Владимира 4-й степени. 26 января 1816 года был удостоен ордена св. Георгия 4-й степени