Kongen var dog alltid litt mistenksom overfor ham, ikke minst fordi han stammet fra kongeslekten, og kunne komme til å kreve kongemakten for seg selv eller for sine etterkommere. Mistanken ble bestyrket ved at Buris i 1166 ikke ville anerkjenne Valdemars sønn Knud som tronfølger. Til sist ga han seg dog mot til gjengjeld å få gjort hertugdømmet sitt arvelig.