没有派党内成员参选（现任立法会议员、时为中西区资深区议员的甘乃威多度争取出选未获批准）而改为支持独立议员余若薇参选，最后余若薇顺利当选。2004年香港立法会选举当中，泛民主派在新界东选区组成了「钻石名单」，在民主派协调下其先后次序为郑家富、刘慧卿、汤家骅、黄成智、蔡耀昌、何淑萍和柯耀林。名单第四的黄成智因票数比例不足而落选，导致民主党不能成为立法会第一大党。2006年1月，民主党党员周奕希、方镇邦及刘德昌先后退党，单仲偕亦表示民主党将会变成小党派，即使大佬文化未必存在，也会影响党内的士气和民调结果。