宋理宗赵昀之弟，立为荣王。他亦是宋度宗的生父，南宋三幼主（宋恭帝、宋端宗及宋少帝）的祖父。
生平.赵与芮本不是皇子，而只是宋宁宗的远房堂侄。他是宋太祖赵匡胤次子赵德昭的九世孙，由于先前宋室帝位并非由赵德昭一脉继承，至赵与芮父亲赵希瓐这一代，与皇室血缘十分疏远。赵希瓐在生时并没有任何封爵，只当过小官，生活与平民无异，赵与芮也因此在平民家庭出生及成长。赵与芮五岁时，父赵希瓐逝世，母亲全氏带他及兄赵与莒（即后来的宋理宗）返娘家，三母子在全氏在绍兴当保长的兄长家寄居，一直到赵与芮十四岁。