娶唐高祖之女常乐公主为妻，历任左千牛将军、定州刺史。唐高宗上元二年（675年），因为妻子常乐公主得罪皇后武则天，被贬为括州刺史。他的女儿为英王李显妃，也被废黜，在内侍省幽禁而死。垂拱四年（688年），赵瓌担任寿州刺史时，唐太宗第八子越王李贞起兵反对称制的太后武则天，他谋划率兵相应，事败被杀。