06年（大同元年），回国。840年（承和7年），任但马权守。842年（承和9年），嵯峨天皇死后二日，发生承和之变，皇太子恒贞亲王被指控有谋反企图，由仁明天皇下诏废皇太子。橘逸势被视为恒贞亲王的人马，被流放到伊豆。在流放途中，橘逸势在远江板筑（今滨松市）病死。
后世传说.民间一般认为橘逸势是无辜被牵连进政变，并因此而死，死后成为怨灵。863年（贞観5年）5月20日，宫庭在神泉苑举行御灵会，以安抚他的灵魂。现今在京都，八所御灵的祭祀中，也包括了橘逸势。