的远房堂侄。他是宋太祖赵匡胤次子赵德昭的九世孙，由于先前宋室帝位并非由赵德昭一脉继承，至赵与芮父亲赵希瓐这一代，与皇室血缘十分疏远。赵希瓐在生时并没有任何封爵，只当过小官，生活与平民无异，赵与芮也因此在平民家庭出生及成长。赵与芮五岁时，父赵希瓐逝世，母亲全氏带他及兄赵与莒（即后来的宋理宗）返娘家，三母子在全氏在绍兴当保长的兄长家寄居，一直到赵与芮十四岁。宋宁宗因八名亲生子皆幼年夭折，故立其堂姪沂王赵竑为太子，沂王王位于是悬空。宁宗命宰相史弥远找寻品行端正的宗室继承沂王王位，而史弥远将此任务交给其幕僚余天