1984年、高雄区漁会が前鎮漁業大楼に移転した後は漁業関連の企業も移転または廃業し、鼓山魚市場は急速に衰退していった。
1984年高雄区渔会迁移至前镇渔业大楼之后，渔业相关的产业如渔业公司、商行、五金行、照相馆、制冰厂等，亦随之迁移或没落，鼓山鱼市场也开始渐渐淡出历史。