I 1102 døde hertug Władysław I Herman av Polen. Sammen med sin fetter Svatopluk støttet Borivoj først Zbigniew mot Boleslaw III av Polen, men Boleslav betalte ham for å trekke seg ut av konflikten. Svatopluk var rasende over dette og forsøkte å få kong Koloman av Ungarn til å gå til krig mot Borivoj. I 1107 gjorde Borivojs yngre bror Vladislav opprør med støtte av Koloman, og tok Praha. Svatopluk, som hadde fanget Borivoj, men var blitt presset av keiseren til å slippe ham fri, besteg tronen.