С 1805—1814 года Фрейман находился на Кавказе и, как офицер генерального штаба, участвовал во всех главных делах Кавказского корпуса. В 1807 и 1809 годах он был в сражениях против турок и при блокаде крепости Поти, двумя орудиями удерживал переправу против Эрзерумского сераскира Шерифа-паши с 12-тысячным корпусом. За храбрость в этих сражениях Фрейман был награждён орденом Св. Владимира 4-й степени с бантом; в 1813 году произведён в майоры.