任何封爵，只当过小官，生活与平民无异，赵与芮也因此在平民家庭出生及成长。赵与芮五岁时，父赵希瓐逝世，母亲全氏带他及兄赵与莒（即后来的宋理宗）返娘家，三母子在全氏在绍兴当保长的兄长家寄居，一直到赵与芮十四岁。宋宁宗因八名亲生子皆幼年夭折，故立其堂姪沂王赵竑为太子，沂王王位于是悬空。宁宗命宰相史弥远找寻品行端正的宗室继承沂王王位，而史弥远将此任务交给其幕僚余天钖。余天钖回乡应考科举，途经绍兴遇着大雨，在全保长家中避雨，于是认识了赵与莒与赵与芮兄弟。余天钖得知他们为赵氏宗族，也觉得兄弟二人行为得体，认为是继承