因此官运亨通，长期任转运使，经营租税，甚得唐玄宗欢心。在咸阳附近渭水旁作堰，截断浐灞，作一与渭水平行的漕渠，至华阴的永丰仓附近与渭水汇合；又在禁苑东望春楼开广运潭，以便漕运。韦坚素与左相李适之交好，李林甫担心自己权位受到威胁，与心腹构陷韦坚，授之以刑部尚书，夺去韦坚转运使职位；二人遂交恶。韦坚与皇甫惟明爲好友，皇甫惟明常在玄宗面前数落李林甫。李林甫向玄宗称皇甫惟明、韦坚欲扶持李亨造反，玄宗将二人贬出朝廷；二人不久均在被贬途中被杀，家产籍没，子弟多被牵连。李适之亦因此被贬。事发，李亨惧而与韦坚妹离婚。