徐四民到中南海加以「训示」。2006年9月，香港多个团体获邀访北京，当被问及陈方安生会否被邀，徐四民断言陈方安生「经常挂住闹」（意指「只爱吵嚷」），没有可能上京。另外，他又直言陈方安生不参选特首是因为「无着数先唔选」（意指「没有利益而不参选」）；而梁家杰参选的原因则是「爱出风头」。
晚年.自2003年退任全国政协常务委员后，徐四民已无再出任公职。晚年的徐四民曾表示愿意为泛民主派人士争取回乡证；另外又去信中央，要求尽早释放程翔。2007年1月23日，徐四民把父亲与自己珍藏关于