希瓐在生时并没有任何封爵，仅官至山阴尉，生活与平民无异，赵与莒也因此在平民家庭出生及成长。赵与莒七岁时，父赵希瓐逝世，生母全氏带他及弟赵与芮返娘家，三母子在全氏在绍兴当保长的兄长家寄居，一直到赵与莒十六岁。宋宁宗因八名亲生子皆幼年夭折，故立赵德昭后裔赵询为太子，赵询于廿八岁时英年早逝，宁宗改立沂王嗣子、福州观察使赵竑为皇子，沂王之位于是悬空，宁宗命宰相史弥远找寻品行端正的宗室过继给沂王，继承王位，而史弥远将此任务交了其幕僚余天钖。余天钖回乡应考科举，途经绍兴遇着大雨，在全保长家中避雨，于是认识了赵与莒兄