成立后，他任北京政府国务院法制局编译员。1913年（民国2年）他任法制局检事。翌年他署理法制局参事。此后，李垣在外蒙古任职。1918年（民国7年）3月他任恰克图佐理员。1920年（民国9年）7月，因徐树铮辞任，他兼护理西北筹备使。同年9月，他改任唐努乌梁海参赞。12月，他改任科布多参赞。翌年3月，库乌科唐镇抚使陈毅被蒙古军及俄国白军战败，遂被北京政府罢免，由李垣兼代理库乌科唐镇抚使。此外，在外蒙古期间他历任外蒙册封副使、蒙疆经略使署左参赞等。1922年（民国11年），在苏俄支援下，博克多汗国将在外蒙古的