赵从郁是北宋时的宗室、宋太祖曾孙、秦康惠王赵德芳的孙子、英国公赵惟宪的三子，获封新兴侯。他是宋英宗的堂弟。其玄孙为宋孝宗。
妻.夫人河东薛氏，封丹阳郡君，宰相薛居正曾孙女，左领军军卫大将军薛惟吉孙女，右班殿直薛安民之女。
儿子女儿.六子赵世奕，太子右卫率府率。赵世褒，故太子右司御率府率。华阴侯赵世将，太子右监门率府副率。赵世秩，故太子右内率府副率。赵世觐，太子右内率府副率。幼未名。四女：长婿葛宗简，仲婿李从之，叔婿张化