Jabarkan Kemunduran dari Lin Shihong

Setelah itu sepak terjang Lin tidak banyak diketahui. Baru pada awal 618, tercatat dalam sejarah, seorang pemimpin pemberontak bernama Zhang Shan’an dari wilayah Fangyu (sekarang Xuzhou, Jiangsu) menyeberangi Sungai Yangtze untuk menyerah pada Lin. Namun Lin tidak mempercayai tujuan Zhang untuk bergabung dengannya sehingga membiarkannya berkemah di luar tembok ibu kota Yuzhang (sekarang Nanchang, Jiangxi). Hal ini membuat Zhang kesal dan melakukan serangan dadakan terhadap Lin, ia mengalahkan Lin dan membakar tembok luar Yuzhang sehingga Lin terpaksa memindahkan ibu kotanya ke Nankang (sekarang Ganzhou, Jiangxi). Belakangan, seorang pemimpin pemberontak lain bernama Xiao Xi, Pangeran Liang, menyerang dan menduduki Yuzhang sehingga Lin harus mundur lagi, kali ini ke Yugan (sekarang Shangrao)

Pada tahun itu juga, seorang pejabat Sui bernama Feng Ang, yang keluarganya telah turun-temurun menguasai sejumlah pos militer di Guangdong dan Hainan menyerah pada Lin. Lin juga membujuk pejabat Sui lainnya bernama Qiu He, yang menguasai Vietnam utara untuk menyerah padanya namun Qiu menolak dan belakangan malah menyerah pada Xiao Xi setelah mendengar kabar terbunuhnya Kaisar Yang di Jiangdu (sekarang Yangzhou, Jiangsu) dalam kudeta militer pimpinan Yuwen Huaji. Pada akhir 620, Feng juga tampaknya sudah tidak tunduk lagi pada Lin karena ia menyerang dan menawan dua pemimpin pemberontak lain, Gao Facheng dan Shen Baoche yang sebelumnya mengambil alih Guangzhou dan Xinzhou (sekarang Yunfu, Guangdong) lalu menyerahkan diri pada Lin.