二十二年（1896年）冬，他设立了利济学堂报馆，并任主编。光绪二十三年（1897年），《利济学堂报》创刊于温州，这是中国最早的高校科技学报。同年，他兼任杭州《经世报》主笔。此后，他曾在上述两家报纸上发表多篇政论。光绪二十四年（1898年），他在北京参加保国会，和蔡元培在北京筹设保浙会，并带头公呈请设保浙公会。戊戌政变后，《利济学堂报》和学堂旧有的亏空使利济医院债务增加，学堂不得不停办。陈虬本人也被指称为“康党”，一度避居上海。光绪二十七年（1901年），瑞安利济医院股份票发行，此外陈虬还独力承办了温州府