В каноне нигде не сказано, что он бы позволил Роберту их уничтожить. Единственное, что могло бы подтвердить этот тезис  - его реакция на смерть Джоффри. Но не забываем, как принц к тому времени себя проявил и сколько ему было уже лет. Он был практически взрослым по меркам тех времен, женатым человеком, королем.Плюс, повторю еще раз, что на кону была еще Серсея, которую он к тому времени еще точно любил.