律令体制下で現在の刑法と刑事訴訟法に相当するのが「律」であり、養老律令の「賊盗律」では笞・杖・徒・流・死の五刑が定められている。最高刑である死罪は、絞・斬の2つの方法が取られ、斬の方がより重罪者に適用された。これは中国において首と胴体を切り離せば肉体は決して復活する事はないと考えられていた事や絞の方が死に至るまで時間がかかるため、その間に恩赦が出される可能性がある（『法曹至要抄』）と考えられたからであるという。また、自首した者は減刑もしくは免罪されていた。絞は受刑者を棒に縛りつけて2本の綱で首を挟みこれを左右逆方向に刑吏が縛り上げる事で窒息死させ、斬は刀をもって首を切り落とした。死罪の執行は市で行って公衆に公開し、刑部省の他に弾正台・衛府の官人が立会い、万一これらの立会人が受刑者の量刑に疑義を挟んだ場合には一旦中断して天皇への奏聞を行って判断を仰いだ。また、当時は処刑された人間の怨念が人々や農作物などに祟る事を恐れて、冬（秋分以後立春以前）に執行される事が定められており、大祀斎日のある日なども避けられた。ただし、皇親と五位以上の貴族については刑部省官人の立会いのもと自宅での自尽を許し、婦人と七位以上の処刑は公開されない決まりとなっていた。また、奴婢が主人を殺そうとした場合には未遂であっても死罪になる一方で、主人が奴婢を殺害した場合には笞または杖の処罰ですまされるなど、身分差別が存在していた。
古代の日本においては「ころすつみ」・「しぬるつみ」という言葉が存在する。これは今日の殺人罪ではなく、死をもって以外に浄化出来ない行いを指していると考えられている。中国の正史である『隋書』倭国伝には、殺人・強盗・強姦は全て死（罪）に処せられたことが記され、また『日本書紀』にも斬（斬首刑）・絞（絞首刑）・焚（焚刑）の3種が存在していた事が記されている。
天平2年（730年）大宰帥・大伴旅人が任地で病臥した際に、遺言を受けに大伴稲公と共に九州に赴いている（この時の官職は治部少丞）。天平4年（732年）遣唐留学生に選ばれ、翌天平5年（733年）唐に渡る。帰国にあたって唐人の陳延昌に託された大乗仏典を日本にもたらす。天平10年（738年）兵部大丞を経て、天平17年（745年）従五位下に叙爵する。天平勝宝元年（749年）孝謙天皇の即位後まもなく左少弁に任ぜられる。天平勝宝2年（750年）再び遣唐使節（副使）に選ばれる。天平勝宝3年（751年）従五位上に叙せられると、天平勝宝4年（752年）閏3月に大使・藤原清河らと共に節刀を受けた際には、古麻呂はさらに一挙に四階昇進して従四位上に叙せられ、同年入唐する。天平勝宝5年（753年）正月に玄宗臨御の朝貢諸国の使節による朝賀に出席。この時、日本の席次が西畔（西側）第二席の吐蕃の下で、新羅の東畔第一席大食国の上より下位に置かれていたことから、古麻呂は長く新羅は日本に対して朝貢を行っていることから席順が義に適っていないとして抗議し、日本と新羅の席を交換させている。同年11月の帰国にあたって、遣唐使一行はかねてより日本への渡航を試みていた唐僧・鑑真を同行させようとしたが、唐の官憲に見つかってこれを禁じられた。大使・藤原清河も鑑真一行の乗船を拒否したが、古麻呂は独断で密かに副使船（第二船）に乗船させる。帰路、大使船は暴風雨に遭い、南方に流されて帰国できなかったが（清河は唐で客死）、副使船は阿児奈波嶋（沖縄）を経由して無事12月に九州に到着。翌天平勝宝6年（754年）正月には朝廷に復命を行い、鑑真を来日させることにも成功した。同年4月に渡唐の功労により同じく副使であった吉備真備と正四位下に叙せられるとともに、左大弁にも任ぜられた。天平勝宝9歳（757年）3月に聖武上皇の遺詔により皇太子に立てられていた道祖王が、孝謙天皇の勘気を受けて廃される。4月に孝謙天皇は皇嗣について群臣に諮ると、右大臣・藤原豊成は塩焼王を、古麻呂は摂津大夫・文室珍努と共に池田王を推したが、天皇の意中は大納言・藤原仲麻呂の推す大炊王（のちの淳仁天皇）であり、大炊王が立太子された。当時、孝謙天皇の厚い信任を受けていた藤原仲麻呂の専横が著しかったため、古麻呂はこれに不満を持ち兵部卿・橘奈良麻呂と結んで仲麻呂を除こうと画策する。奈良麻呂・古麻呂らが一味して兵を起こして田村第を包囲して仲麻呂を殺して皇太子を退け、孝謙天皇を廃して塩焼王・道祖王・安宿王・黄文王の四王の中から天皇を推戴するという謀反計画であった。天平宝字元年（757年）6月16日に古麻呂は鎮守将軍兼陸奥按察使を兼帯して陸奥国への赴任を命じられ、橘奈良麻呂は兵部卿から左大弁に遷されて兵権を奪われる。なおも、古麻呂は任地へ向かう途中で美濃国へ到着したところで、偽って関所を閉鎖しようと画策する。しかし、6月末から7月初めにかけて山背王や上道斐太都らの密告があり謀反計画は露見。古麻呂は奈良麻呂・道祖王・黄文王らと共に捕えられ、7月4日に杖で何度も打たれる拷問の末、絶命した（橘奈良麻呂の乱）。絵巻物である『鑑眞和上東征傳』に大伴古麻呂が登場する。