97年与蔡伯华、张继勋、张馥哉在平湖创办日出一小张的《平湖白话报》，陈惟俭任经理。时值戊戌政变，该报鼓吹革命，馆报遭清吏捣毁，报纸禁办。陈惟俭后来毕业于广西陆军讲武堂步科，又至日本东京政治大学政治经济科留学。1912年入中国同盟会。1926年当选为中国国民党浙江省党部执行委员，历任浙江省警察厅保安总队长、浙江省警察厅督察长、江苏省淮阴区专员、国民政府内政部警政司司长、江苏省第三区行政督察专员兼保安司令、上海市参议员等职。在家乡新仓积极从事社会公益事业，除建造讲演厅、运动场，还亲自发起芦川旅外学生募捐建校等