其父率种人三千帐归唐。唐懿宗年间，赫连铎已是吐谷浑一部落首领，并被唐朝任为阴山府都督。后来唐军对徐州庞勋叛军作战时，赫连铎也参战了。干符五年（878年），沙陀首领李国昌与儿子李克用分别在振武军和大同举事反对唐懿宗的儿子唐僖宗。十月，僖宗命赫连铎、昭义节度使李均、卢龙节度使李可举及其他吐谷浑首领如白义诚、萨葛首领米海万进攻李国昌父子。冬季李国昌正与党项人作战未决时，赫连铎乘虚袭振武，尽取其赀械，俘虏其全族。李国昌狼狈率骑五百回云州，云州不纳，赫连铎遂取之。李克用辗转蔚、朔间，兵才三千，屯黄花城新城，赫连铎