吕仗着孝谦天皇的信任十分专横，对此大伴古麻吕十分不满，与兵部卿橘奈良麻吕共同策划将其除掉。计划二人一起举兵包围田村第，将仲麻吕杀死后，废黜孝谦天皇，在盐烧王、道祖王、安宿王和黄文王中推举一人为天皇。757年，古麻吕被任命为镇守将军兼陆奥按察使，派往陆奥国。橘奈良麻吕自兵部卿改任左大弁，被夺去兵权。6月末至7月初，山背王与上道斐太都等人告发了这次谋反计划，古麻吕与奈良麻吕、道祖王、黄文王等人一起被捕。7月4日，在监狱中受到杖击拷打而死去。