郑贯公还将文艺副刊扩大为附刊随报发行。该附刊取名《一噱报》，开设多个栏目，专门刊登杂文谐文、粤讴歌曲、讽刺漫画等，引人入胜。后因刊发《扬州十日记》龙舟歌，引起当局告诫，部分股东怯于情势，而郑贯公坚持原则，意见不合，遂辞职而去。该报仍继续支持革命，直至1917年才停办。1904年郑贯公邀集同仁李大醒、黄鲁逸、黄世仲、陈树人等，筹资创办《广东日报》。《广东日报》仍沿习《中国日报》、《世界公益报》的革命传统，而言论更加开放，是为香港第三家革命党报。该报亦附出文艺副刊，取名《无所谓》，以嬉笑怒骂的方式来批判专制