良麻吕深受光明皇后的信任。其父橘诸兄与孝谦天皇的宠臣藤原仲麻吕成为政敌。755年，橘诸兄被告发在酒宴上诽谤朝廷，翌年致仕并在757年失意死去。奈良麻吕对藤原仲麻吕的专横非常不满，与大伴古麻吕、小野东人等人密谋诛杀仲麻吕，并废黜皇太子大炊王（淳仁天皇）。山背王向仲麻吕告发，称奈良麻吕等人正在准备兵器。上道斐太都亦告发称小野东人参加奈良麻吕的谋反，仲麻吕即将东人逮捕审问。奈良麻吕、道祖王、黄文王、大伴古麻吕、多治比犊养、贺茂角足等人受到揭发，一起被捕。孝谦天皇本欲将他们的死罪减免为流放，但藤原仲麻吕为了肃清政敌