金刚寺关押了三年。此后由于南朝势力的衰退，1357年（延文2年 / 正平12年）阴历8月，南朝将崇光上皇和直仁亲王送回京都。崇光上皇的皇子荣仁亲王（第一代伏见宫），本来有被立为太子的希望。但1370年（应安3年 / 建德元年）阴历8月，后光严天皇在室町幕府的支持下，立自己的儿子绪仁亲王为太子，否定了荣仁亲王的继承权。1398年（应永5年）1月13日，崇光上皇驾崩，享年65岁。1428年，崇光上皇的曾孙彦仁王以后小松院养子的身份继承皇位，是为后花园天皇。
系谱.光严天皇第