鉄路交涉局提调。此后他到俄国留学圣彼得堡国立大学。毕业后，他在驻俄罗斯公使馆任通译官。中华民国成立后，他任北京政府国务院法制局编译员。1913年（民国2年）他任法制局检事。翌年他署理法制局参事。此后，李垣在外蒙古任职。1918年（民国7年）3月他任恰克图佐理员。1920年（民国9年）7月，因徐树铮辞任，他兼护理西北筹备使。同年9月，他改任唐努乌梁海参赞。12月，他改任科布多参赞。翌年3月，库乌科唐镇抚使陈毅被蒙古军及俄国白军战败，遂被北京政府罢免，由李垣兼代理库乌科唐镇抚使。此外，在外蒙古期间他历任外蒙