军赵允言非理捶笞他的女仆，其兄赵允升劝他，赵允言出语不逊，悖慢无礼。宋真宗知道后，命管句南宫、北宅事赵湘处理他的罪状。四月辛亥，贬为太子左卫率府副率，禁止朝见，出居别宅。因为皇帝祭祀汾阴加恩，恢复率府率，还宫，之后很久，恢复朝见，历任左监门卫大将军、黄州刺史。天圣七年（1029年）卒，赠为明州观察使、奉化侯。明道二年（1033年），赠为安远军节度使，追封密国公。有四子：祁国公赵宗说、南康王赵宗立、东阳侯赵宗迥、汝阴侯赵宗育。