央政策的理由开除党籍。后长期支持和参与党外运动。1960年，与雷震、高玉树、夏涛声、李万居、许世贤、郭雨新共同筹组新的反对党「中国民主党」。中国民主党遭蒋介石以《自由中国》冤案镇压，雷震等入狱，他倖免，晚年与李敖相过从。晚年接受中央研究院近代史研究所访问，有《齐世英先生访问记录》一书出版。
家庭.长子齐振一(1921~2016)曾任记者及多家报社的总编辑、长女齐邦媛是知名文学家。