谥曰元。夫人李淑兰，卒于开皇元年，年八十一。继夫人京兆韦氏，名始华，使持节冀州刺史韦洪籍之长女。大统十四年（548年），授魏兴郡君，保定二年（562年），进华山郡夫人。隋开皇七年八月二十五日卒，年六十九（519年—587年10月2日）。子杨文思、杨文纪、杨文矩、杨文愻等。
家族.《新唐书》宰相世系表云：“越公房本出中山相结次子继。生晖，洛州刺史，谥曰简。生河间太守恩，恩生越恭公钧，号越公房。”