因为「无着数先唔选」（意指「没有利益而不参选」）；而梁家杰参选的原因则是「爱出风头」。
晚年.自2003年退任全国政协常务委员后，徐四民已无再出任公职。晚年的徐四民曾表示愿意为泛民主派人士争取回乡证；另外又去信中央，要求尽早释放程翔。2007年1月23日，徐四民把父亲与自己珍藏关于上世纪缅甸华侨历史的着作与手稿赠送予香港大学图书馆。在同年7月初，他最后一次公开露面，当时已经需以轮椅代步。8月，他因为胆管癌由香港养和医院转往玛丽医院留医，9月9日晚上8时，因癌症引发肾衰竭在玛丽医