国家大唿拉尔选举中，他作为已更名为“祖国－蒙古民主新社会党”（Motherland-MDNSP）的候选人，在乌兰巴托第61（Khan-Uul）选区成功获得该选区唯一的席位，当选国家大唿拉尔委员。在2004年国家大唿拉尔选举中，该党和民主党联合成立“祖国－民主联盟”（Motherland-Democracy coalition）。额尔登巴特作为祖国－民主联盟候选人，在库苏古尔省第48选区当选国家大唿拉尔委员。“祖国－民主联盟”在2004年底解散。2004年9月至2005年2月，额尔登巴特担任蒙古国国防部部长。