不過到咗1980年代，全球航運業出現咗週期性嘅衰退，趙從衍冇好似包玉剛噉早著先機，削減航運業務，結果華光航運負債累累，趙從衍要將屋企嘅古董拍賣同埋華光地產嘅控股權賣走嚟填氹，與此同時趙從衍亦都喺呢個時候中咗風，最後到1992年先正式還曬。