宗室，宋太祖玄孙，南阳侯赵从贽之子。历任右羽林大将军、秀州团练使。蓬州术士李士宁在京师私入睦亲宅和他交游，赠给他金龙刀。赵世居大喜，馈赠丰厚。沂州百姓朱唐告发前余姚主簿李逢有逆谋，事连赵世居。宋神宗命御史和台谏官审理，捕拿赵世居和医官刘育，下狱御史台。搜索出他家中的图谶书简等，刘育处死，赵世居被赐死。子孙免死除名，派御史台推直官监视他到普安院缢杀。宦官冯宗道监视掩埋。