皇上说：「撼动不了大树的人，应当退下。」赵绰回应：「臣下想要感召皇上之心，哪里想要撼动大树呢。」皇上再说：「吃羹的时候，觉得太热就会把它放下来。天子的权威，你想触犯吗？」赵绰跪拜而更加前行，皇上大声喝斥也不肯退下。于是皇上就（生气的）回去宫殿。治书侍御史柳彧也向皇上劝谏，皇上才接受。隋文帝因为赵绰有诚实正直之心，常常将他引入朝堂中（论事），有时遇到皇上跟皇后都在的时候，隋文帝仍对赵绰赐坐，评论得失。前前后后皇上对赵绰赏赐了万次。之后赵绰升迁到开府，皇上赐他的父亲为蔡州刺史。当时赵绰与河东的大理卿薛冑齐名