Во время Крымской кампании Кульстрём был командирован в артиллерию Кавказской армии и назначен адъютантом в 20-ю артиллерийскую бригаду. 25 мая 1855 года произведён в капитаны. Участвовал в боях с турками в Закавказье. По окончании войны он был зачислен в Кавказскую гренадерскую артиллерийскую бригаду, где 1 апреля 1859 года был назначен командиром 1-й батареи. Здесь он принимал участие в походах против горцев. 1 июля 1860 года Кульстрем получил чин подполковника и переведён в 18-ю артиллерийскую бригаду. С 1866 года он также являлся начальником военного госпиталя в Гори.