次子燕懿王赵德昭的后人，但由于宋帝位一向并非由赵德昭这一脉后人继承，至赵与莒父亲赵希瓐这一代已与皇室血缘十分疏远，而赵希瓐在生时并没有任何封爵，仅官至山阴尉，生活与平民无异，赵与莒也因此在平民家庭出生及成长。赵与莒七岁时，父赵希瓐逝世，生母全氏带他及弟赵与芮返娘家，三母子在全氏在绍兴当保长的兄长家寄居，一直到赵与莒十六岁。宋宁宗因八名亲生子皆幼年夭折，故立赵德昭后裔赵询为太子，赵询于廿八岁时英年早逝，宁宗改立沂王嗣子、福州观察使赵竑为皇子，沂王之位于是悬空，宁宗命宰相史弥远找寻品行端正的宗室过继给沂王，