封为列侯，但袁谭给他们送去将军印，意图收他们为己用。这被认为是袁谭首次破坏曹操的信任，但曹操此时未有举动。204年，曹操做好了攻邺城的准备，袁尚感受到威胁，再次尝试征服袁谭。尽管曹操围攻邺城时，袁尚已率军一万回救，但曹操不费力即将其击溃，迫使他北逃中山郡。九月，邺城降。不再受制于弟弟的袁谭从平原北进，占领甘陵、安平、渤海、河间诸郡，最后突袭中山，将袁尚逐出冀州。曹操觉得和袁谭的联盟已经无益，便指称袁谭围攻邺城时不尽力且寻求扩大自己的利益。随后，联盟取消，袁谭之女被遣返，205年初，曹操调兵进入袁谭领地。