他还是康王时就已有五个女儿，后来潘贤妃还给他生了个儿子赵旉被立为太子，但在苗刘之变后，赵旉病故