高知県高知市生まれ。土佐中学校・高等学校、東京大学経済学部卒業。1991年（平成3年）、大蔵省に入省。本省勤務の他、1998年（平成10年）から3年間は外務省へ出向し、在インドネシア日本大使館で書記官（赴任時は二等、2001年（平成13年）より一等）を務める。2006年（平成18年）より内閣官房副長官秘書官。2007年（平成19年）10月、財務省を退官。2007年（平成19年）11月25日投開票の高知県知事選挙に自由民主党、民主党高知県連、公明党、社会民主党の推薦で出馬し、40歳で初当選。翌2008年（平成20年）1月に橋下徹が大阪府知事に就任するまでは、全国で最年少の知事であった。2011年（平成23年）の高知県知事選挙では、尾崎以外に立候補を届け出た者がいなかったため、無投票再選。2013年（平成25年）1月に内閣府の教育再生実行会議の委員に就任し、2015年（平成27年）10月5日まで務めた。同年10月の高知県知事選挙では、尾崎以外に立候補を届け出た者がおらず、2011年の知事選に引き続き、2度連続で無投票再選。知事選が2度連続で無投票になるのは1978年（昭和53年）、1982年（昭和57年）の滋賀県知事選挙の武村正義以来、23年ぶりであった。2015年（平成27年）はこのほか、岩手県知事選挙も達増拓也が無投票で当選した。2019年8月、同年11月に予定される高知県知事選挙には立候補せず、次期衆議院議員選挙に高知2区から立候補する意向が報道された。
1902年（明治35年）8月26日京都市第三高等学校教授となり、ドイツ語・法学通論・ラテン語を担当した。当初大学予科一部三年甲級長、1903年（明治36年）一部三年乙級長。1908年（明治41年）1月19日第一高等学校教授となり、日本大学・法政大学でもドイツ語・法律を教えた。晩年にはローマ法の研究に取り掛かったが、アルコールと極度の勉強のため腸を患い、1913年（大正2年）9月休校、12月25日退官した。1914年（大正3年）1月20日正五位。1922年（大正11年）5月26日午前9時15分大塚の自宅で死去し、29日谷中斎場で神式葬儀が行われ、谷中霊園甲号13側に葬られた。神道を信仰したため、戒名は受けなかった。
1885年（明治18年）10月ドイツに自費留学し、ブランデンブルク州ポツダムギムナジウム教授オットー・フリードリヒ方に寄宿してドイツ語、1886年（明治19年）3月からはラテン語を学んだ。1887年（明治20年）フハルヲ・ウィザムスキーに歴史・地理・数学、イギリス人ロジェーに英語、高等女子校長シュミット・フランス人ピグーにフランス語、高等学校教師シュロスマンにギリシャ語を学んだ。1888年（明治21年）4月ポツダム市立中学校に入学、1889年（明治22年）4月ベルリン大学法学部に入学し、1893年（明治26年）4月からローゼンベルク博士に公法を学び、1895年（明治28年）からベルリン市区裁判所判事ビックに就いて商法・民法を研修した。1898年（明治31年）夏ゲッティンゲン大学法学部に移籍し、カール・ルートヴィヒ・フォン・バールの指導を受け、1899年（明治32年）「共同正犯の理論によせて、独逸刑法第四十七条の解釈に対する一寄与」を提出、1900年（明治33年）3月8日法学全科の口頭試験に合格し、両法学博士を授与され、4月17日ジェノヴァからザクセン号で帰国した。10月20日ドイツ東洋文化研究協会に入会した。
制度の対象となる「ライーヤト」の定義について、実際に耕作に従事するか否か、小規模農民か大地主か、意見が分かれた。ライーヤトと認められたのは一部の富裕な農民に限られ、大多数の農民は制度から除外されていた。ライーヤトワーリー制度は平等よりも社会の安定を試行した政策であり、ポリガール（軍事領主）などの有力な農民よりさらに少数の中間階級に土地を認める、大領主が存在する社会に比べ、制度が施行されている社会は安定していると考えられていた。ライーヤトワーリー制度をはじめとする、マドラス政府が実施した政策の背景には既得権益の尊重、社会の安定を目標とする考えが存在していた。地租の改定では税額が引き上げられることがほとんどで、政府は地税を自由に引き上げる権利を有していた。天災によって農産物の収穫量が減少した場合でも、税額は減免されなかった。1840年代からマドラス管区の徴税を担当したロバート・プリングルは、査定によって決定した地代の55%を税額に定める。しかし、プリングルが決定した税額は現実離れした高い額になり、農民は支払いに苦しんだ。プリングルの後任であるオールドスミッドは、マラーター王国時代の税額を参考にして額を改定し、全ての土地の地税がプリングル時代の半分以下に引き下げられた。村落が徴税単位で区画されたために個々の農民は自分に割り当てられた土地に生産活動を集中するようになり、制度施行前の生産活動によって維持されていた土地共同体の基盤は崩壊した。ライーヤトは税を払うために自身の農産物を換金しなければならなかったが、19世紀前半に起きた農産物の価格の下落のため、より多くの農産物を生産しなければならず、農村に重い負担がかかった。地税の支払いに困窮するライーヤトは借金の担保として土地を高利貸しや商人に取り上げられ、農民と土地の分離が促進された。1875年に発生したデカン農民反乱は、それらの高利貸しと商人を攻撃の対象としていた。