读《汉书》时，称称张释之有贤才。杨溥曰：“张释之诚然有贤才，但若非汉文帝宽仁，他也无法行志”，此后杨溥特意编撰汉文帝的事编呈上。朱高炽读后大悦。之后，杨溥因丧归乡。恰逢朱棣北征、太子监国，命其赴任。永乐十二年，因为朱棣回朝后，太子迎接迟缓，招致朱棣大怒。黄淮、杨溥等侍奉东宫的官员均因此下诏狱。当时家人供食屡次断绝，而明成祖之意又难测，杨溥性命旦夕不保。然而在这样恶劣情况下，杨溥更加勤奋地阅读各类经史子集书籍，十年牢狱仍不辍。
洪熙、宣德年间.明仁宗即位后，杨溥得释，并升任翰林学士。