度使吕諲幕府；元结有诗作《》。后源休入京，为主客郎中，迁给事中、御史中丞、左庶子。其妻是吏部侍郎王翊之女，夫妇因小忿而离婚，妻族上诉，下御史台审理，源休迟迟不回应，被除名，发配流放到溱州。久后，改流放岳州。
出使回纥.建中初年，杨炎执政，因京兆尹严郢威名稍着，想排挤他。严郢正是王翊的甥婿。源休离婚时，杨炎就风闻源休和严郢有隙，于是提拔还被流放的源休为京兆少尹，窥伺严郢过失。源休在职久后却与严郢交好，杨炎怒，奏令他以本官兼御史中丞，出使回纥。当时是建中元年（780年）六月，回纥宰相顿