後來，同治十二年，潘仕成運滯，畀人收咗鹽商專營權，之後孭咗周身債，最後畀官府抄家，包括海山仙館在內所有財產畀曬官府，之後官府拍賣園産，因為實在太大亦太貴啦，無人可以買得入成咗花園，最終官方將海山仙館拆分投標，由各路人分段埋單，各自經營改建；