會議：立法院第10屆第8會期司法及法制委員會第5次全體委員會議（2023-10-05）
議程：一、邀請司法院秘書長列席說明立法計畫，並備質詢；二、審查113年度中央政府總預算案關於
司法院及所屬主管收支部分；三、審查司法院函送財團法人法律扶助基金會 113年度預算書案
［僅進行詢答］
發言委員：林淑芬

林委員淑芬：（11時55分）主席、各位大家午安。是不是也是請秘書長？
吳秘書長三龍：委員好。
林委員淑芬：秘書長，剛才有委員質詢就不能安全駕駛及幫助詐欺這兩種的犯罪量刑智慧分析系統要透過AI來撰寫判決書的裁判草稿，以供法官製作裁判時參考。在新聞稿裡面，你們說這個系統是採用TMT5語言模型架構，透過監督式訓練的微調，在訓練時會以起訴書和配對裁判書資料為主，生成草稿時，以對應起訴書為生成素材，即時分析犯罪事實、證據等段落資料。你剛才回答委員是說，你們11月對不能安全駕駛要由士林及臺南兩邊的法院先試辦。另外一種是幫助詐欺，你們預定什麼時候要試辦、要上路？會由哪幾個法院來示範？
吳秘書長三龍：我先請我們資訊處回答。
林委員淑芬：好，沒關係，資訊處。
邱處長士賓：幫助詐欺部分，目前還沒有具體的時程。
林委員淑芬：幫助犯還沒有具體的時程，為什麼？
邱處長士賓：目前系統還在做測試。
林委員淑芬：是不是比較困難？
邱處長士賓：對，這部分比較困難。
林委員淑芬：相對非常困難？
邱處長士賓：應該說我們希望讓系統產生出來的內容要正確，所以這部分我們比較審慎。
林委員淑芬：你們這個是委外建置的吧？
邱處長士賓：對。
林委員淑芬：你們花了多少錢委外建置？
邱處長士賓：詳細的預算，我會後再提供給委員參考。
林委員淑芬：這種東西有什麼不能現在提供，你們沒有資料嗎？你現在不能講？是不能講還是你們沒有資料還是你不知道？
邱處長士賓：我手邊沒有正確的數字。
林委員淑芬：不用正確的數字，約略就好，是幾千萬、幾億？
邱處長士賓：沒有，沒有到那麼多。
林委員淑芬：沒有幾千萬喔？我現在要跟你討論這個是因為，秘書長，你們8月27日有發布新聞稿，你們當時說預計9月這個系統就要複驗，通過以後要擇幾家法院進行試辦，而且要評估是否全面上線。你剛才說要適時地頒訂司法體系發展AI指引，你要叫人家試辦了，至少下個月就不能安全駕駛，臺南跟士林法院都要試辦了，你安全指引什麼時候要公布？
吳秘書長三龍：向委員報告，所謂AI生成，其實那個都還很遙遠，目前這個都只是定位在草稿而已，都是一些……
林委員淑芬：我知道，最後也是讓法官參考，但你怎麼知道法官是怎麼參考的？所以我才講，你要訂一個指引啊！你的參考指引到底要怎麼訂？也要給社會討論一下，不是只有你們法院一個系統嘛！在這種狀況裡面，你們下個月就要叫人家試辦了，你的整個使用生成AI參考指引都沒有出來，所以我第一個問題就是問你，指引什麼時候要出來？你要叫人家辦，但你都沒有指引，那些法官要怎麼辦？這樣辦出來可以用嗎？我還沒質疑到你們AI系統的問題喔！
吳秘書長三龍：這個是兩個層次啦……
林委員淑芬：你們有兩個指引，是哪兩個指引？
吳秘書長三龍：兩個層次的問題。
林委員淑芬：對，沒錯。
吳秘書長三龍：指引那個是後端，那個還……
林委員淑芬：指引絕對是上游、最上端啊！你要怎麼使用、你要怎麼參考、原則要訂什麼、應注意什麼、課責的方式是什麼，你的這個部分沒討論清楚，你要叫法院試辦，然後你說這是後端，先試辦完再來訂，這樣是「倒頭生」啊！
吳秘書長三龍：現在試辦只是試辦那個例稿而已，其實我們……
林委員淑芬：例稿？就是做個草稿參考而已啦！但法官參考到什麼程度、他的判決書哪個地方是參考AI、哪個地方是法官自己撰寫？心證自己寫或是依據參考去寫，要不要註記？上面要不要註記？
吳秘書長三龍：我們現在、現階段……
林委員淑芬：我如果是當事人，我會希望法官應該要告訴我們，這份判決書哪個地方是參考AI的草稿來的啊！
吳秘書長三龍：現階段每個字都是法官斟酌的，不可能由AI去生成，都是法官斟酌的。
林委員淑芬：我怎麼會不知道！他是看AI的草稿，然後自己重新寫，問題是他寫的內容AI提供了多少成分，你怎麼會知道呢？我不知道，當事者、被判刑者也不知道啊！那我們有沒有知的權利？
吳秘書長三龍：每個字都是法官字字斟酌，這個請委員放心，每個字……
林委員淑芬：我要放什麼心？你在講什麼？
吳秘書長三龍：都是委員……
林委員淑芬：我覺得你們做這件事情非常不負責任，你這樣講簡直是胡說八道！在對司法的不信任感上，你這樣子做，大家對司法判決都很不具信心。你現在說叫AI生成一份裁判草稿，法官再根據這個草稿，然後法官是每個字都自己看過、自己寫出來，再叫助理打字出來，每一個字都是他們寫的，但這個有意義嗎？我要知道的是你說的這個草稿，寫論文也要說出引據哪裡、用了多少比例、參採多少比例的草稿啊！對不對？更何況是判決耶！判決耶！
吳秘書長三龍：報告委員，他這個有罪無罪是法官要斟酌先認定的。
林委員淑芬：這個我知道啦！你跳得太快了！AI草擬判決，你們要先有這個建置和訓練，這個你們是委外嘛，花了多少錢？為什麼我要問你花了多少錢？因為生成的判決要如何判斷和監督？你們對外的講法是AI的模型並不是單純的例稿生成器，而是以對應起訴書為生成素材，即時分析犯罪事實、證據等段落資料的智慧化工具，所以你們AI系統的裁判草稿，對法官的審判當然會有影響，是參採嘛！那你說他參採多少，我們不知道，這我們等一下再談。但是你們的這個AI系統，不是ChatGPT，那AI你們要餵它東西、要訓練，而訓練階段的素材，你們說是大量的起訴書和對應的裁判書，以大量的資訊來做訓練，所以我現在問你幾件事，第一個，你們所謂的大量，這些起訴書和裁判書的資料區間及區段是怎麼樣？大量是多大量？哪一年到哪一年？
吳秘書長三龍：報告委員，這些其實都還……
林委員淑芬：是一審而已，還是還有二審、三審？是僅限於一人一罪的判決，還是有其他的？資料庫更新的頻率如何？
吳秘書長三龍：那些其實都還沒有投入，都還沒有到那種階段。
林委員淑芬：還沒有到那個階段？你說下個月就要上路了耶！我現在問你這個問題，你在這裡、在立法院國會，你回答不出來嗎？處長，秘書長沒有辦法，那換處長你來回答，因為是你承辦的業務，我就問你，你們大量訓練的這些起訴書和裁判書，其資料區間、區段是從哪一年到哪一年？然後案件的判決、裁判書是要餵它一審的而已，還是有二審、三審？
邱處長士賓：目前是只有一人一罪的裁判書，而且是只有一審，因為我們現在裁判書的例稿是只有給一審法官使用。
林委員淑芬：一審？
邱處長士賓：對。
林委員淑芬：那區間是幾年到幾年？
邱處長士賓：這個會後再提供給委員，因為這兩個罪的區間不太一樣。
林委員淑芬：什麼叫做會後提供給委員？下個月已經要上路，你對這個東西，委外委多少錢，你不知道！要上路了，AI生成要大量資料庫，大量資料庫是從幾年到幾年餵進去，這是最核心的，你不知道！還要會後再提供給我！
邱處長士賓：委員，我這邊說明一下，那個資料是從102年到110年。
林委員淑芬：102年到111年就夠了？就夠大量了嗎？如果這些裁判書或起訴書都沒有附上卷宗資料或證據，或資料庫不夠，你要怎麼憑空產出即時分析犯罪事實、證據和段落？然後你們在新聞稿裡面提到，認定事實、適用法律、裁量、決定量刑等核心事項，仍然會由法官自行核定、決定。看起來秘書長回答就是這樣子，好像是說放心！我們法官負最終責任。但是法官在使用這個系統生成判決的時候，系統或裁判書會記錄法官使用的狀況嗎？你要告訴我們，如何確保法官判斷的判斷事項仍然是法官把關的？你說放心，我們法官會把關，那有哪個程序、要怎麼判斷你們法官是有把關的呢？
吳秘書長三龍：現階段其實都法官判斷，都法官在判斷，沒有所謂生成的。
林委員淑芬：現在就還沒有啊！下個月才開始啊！當然現階段沒有。生成以後，法官會參採，但是我們如何確保法官判斷的判斷事項仍然是法官判斷的？我們如何知道該由法官判斷的事項，真的是法官把關過的？
吳秘書長三龍：那就是法官判斷，一定是法官綜合卷內證據來判斷。
林委員淑芬：我在問什麼，你可能聽不懂！你們就一份草稿給法官，然後寫一個判決書，針對法官應判斷的事項，你怎麼知道是法官把關過？我們怎麼知道？
吳秘書長三龍：目前的判斷都是法官在判斷，這一點請委員放心。
林委員淑芬：喔！主席，我覺得我是雞同鴨講，不是他聽不懂我的話，就是我聽不懂他的話！好，沒有關係，我再告訴你，生成式的裁判書系統，你看起來好像是說現階段都沒問題，但不要忘了你們要試辦，而且你說你們未來要推動，所以我要講的是，我不反對人工智慧，我們非常支持人工智慧，司法院也可以發展，但是要發展人工智慧的前提是要可課責、要負責任、要確保被告的權益。我們在講這個，是因為剛才也有委員談過，其實外國也有一些依據人工智慧生成的裁判書產生錯誤判決，所以生成式裁判書系統，它的風險要如何管控？如何避免複製錯誤，以及對司法信任的風險要怎麼管控？歐盟議會在通過人工智慧法案的時候，都會講要透過大數據來監督學習、強化學習方式等進行訓練，廣泛運用到下游的任務，這個基礎模型，這個都是基礎模型，但是AI在執法及法律解釋領域的應用，要列為高風險項目，要進行嚴格的事前及事後審查，要執行風險評估，而且要提出風險降低的措施，要提供人工智慧系統高品質的資料庫、資料集，以減少歧視性及有害結果的發生，而且還需要留存活動紀錄，以確保該人工智慧設計過程得以有效的追溯，並提供使用者明確且充分的資訊。美國國家人工智慧諮詢委員會在年度報告中也特別提到司法議題的特殊性，所以建議要進行專門性的政策評估。秘書長，現在裁判書生成的語言模型及應用，有哪些監管和紀錄的機制？你們委外要花多少錢？不知道！你們號稱要使用這個什麼TMT5語言模型架構，請問你們有哪些監管或紀錄機制？剛才講的要求要可以溯源、追溯，可以留存活動紀錄，你們都有設計了嗎？
吳秘書長三龍：委員剛剛提示的都很重要……
林委員淑芬：我是要問你，你們現在有了嗎？
吳秘書長三龍：我們就是看進行到什麼階段，目前還沒有所謂生成的問題。
林委員淑芬：你的意思是，現在不能安全駕駛和幫助詐欺犯是相對較輕的刑責，叫做相對簡單，所以你們才選這兩類優先試辦，對不對？
吳秘書長三龍：那個都是提供例稿而已，判斷一定都是法官在判斷，這個基礎……
林委員淑芬：你講這種話很不負責任，你現在說是試辦，試辦的每一個案件、每一個個案，這些當事人的權益、被告的權益都很重要，你不能說只是試辦而已，影響不大，每一個都很重要。
吳秘書長三龍：這只是試辦例稿而已。
林委員淑芬：我現在再告訴你，我怎麼知道法官參採的比例有多高？他對於生成出來的這個草稿運用的percentage有多大？所以我要問你，請你告訴我要怎麼知道法官用了多少？
吳秘書長三龍：就回歸到基礎點，目前所有判斷都是法官判斷的。
林委員淑芬：你對法官百分之百的信任啦！請你去問一下人民，你把這句話拿去問人民，你把一個人工AI生成的裁判草稿給法官，我們都不知道法官到底參採了多少這個AI草稿的比例，什麼都不知道！你問一下人民，你說法官的判決都是經過法官深思熟慮，你看人家會相信嗎？
吳秘書長三龍：這個草稿只是提供一些基本架構而已。
林委員淑芬：你這種說法和這種不負責任的作為是在替我們的司法體系雪上加霜，我真的不騙你。本席再告訴你，你們對於AI很隨便，臺灣司法院做這樣的事情非常的隨便。根據文獻指出，AI很可能會產生人工幻覺的現象，以致於生成的內容產生錯誤，這在ChatGPT大家都知道，而且是很廣泛的認知。美國普渡大學研究發現，在AI系統正確率沒有達到五成的狀況下，高達四成的使用者無法察覺系統的錯誤，法官每個都忙得要死，他們看起來合理性OK，然後他們就參採了。我跟你講，不是說他不專業，也不是說他不認真，他真的案子很多，大家都知道法官未結的案子一大堆。根據你們的新聞稿和採訪內容，法官在AI系統上可以選擇引用起訴書適用的法條及犯罪事實，也可以把起訴書所列的證據引用進來，法官可以選擇認罪與否、使用何條規定處理案件等選項，他選完以後，系統會自動生成草稿，但是我要提醒秘書長，刑事訴訟法有規定法官得以在起訴的同一事實範圍內變更起訴的法條，我們也很常在裁判書中看到法官會更正起訴書的錯誤，在起訴書裡面，其實法官也經常認為有很多寫錯的，包括犯罪時間寫錯的，打字錯的更是一大堆，另外像是名字寫錯的、此人非彼人的也有。在這種狀況下，我們要問如果透過AI系統直接引用起訴書中錯誤的法條、犯罪時間錯誤或是字寫錯了、地點寫錯了，AI要如何糾錯？你們認定事實的部分就是根據起訴書，但根據起訴書就沒問題了嗎？就現行的實務是問題很多，連法官都經常揪出起訴內容的錯誤。我們現在要問的是，即便法官可以自己決定量刑，但是裁判書中最重要的理由是系統自動生成的，如果AI生成的內容有包含連法官都無法察覺的錯誤，因為案件很多，時間就這麼短，他要快速的看，如果法官沒有察覺這個錯誤，那麼判斷錯誤的風險誰要負擔？要怎麼課責？
吳秘書長三龍：所以這也要很審慎啊，目前就是沒有所謂理由自動生成的問題。
林委員淑芬：因為還沒有施行，下個月才要施行，當然目前沒有，你講這個話……
吳秘書長三龍：這個還……
林委員淑芬：我們今天一直在很嚴肅的告訴你，這一套系統要引進來，我們認為這是相當重要的一頁，但是必須要負責任。你要建置這套系統要負責任，建置102年到111年就夠了嗎？參採了一審的判決書，這個資料庫就夠大了嗎？認定事實是所有審理的第一道防線，現在認定事實全部是起訴書的輸入，然後就交給電腦去判斷，而起訴書認定事實的部分，法官以前在實務面就經常糾錯了。我不知道要怎麼和秘書長講話？你們的新聞稿都說：我們開發採用自然語言處理和規則法技術，提高生成內容的準確性，應該不會如同ChatGPT出現內容所對應的對象或事實錯誤的問題。我要詢問秘書長，你說「應該不會像ChatGPT」的「應該」兩個字是怎麼評估出來？什麼叫做「應該不會」？錯誤的風險有多低？如果風險不是零，未來要如何面對這個錯誤的風險？這個風險對每一個當事人都是百分之一百啊！這些風險在運用的過程當中我們怎麼知道？你要怎麼監督記錄？未來要如何調整、修正？然後還可課責、可追溯？我現在是在討論非常正經的問題。
吳秘書長三龍：委員，你的意見非常好，我們一定會很慎重的來重視這個問題。
林委員淑芬：你們要花多少錢才能做出這套系統？
吳秘書長三龍：這一定還要……
林委員淑芬：還有，你不敢把預算說出來，我告訴你，其實要做出一套系統是很困難的。我已經說管理這套系統、運用這套系統應該要有系統化、要有法制面的指引，沒有立法，至少也要指引吧！雖然我們覺得應該是要立法來規範，整個系統也要設計我剛剛所講的，要可追溯、要可溯源、有足跡追蹤、要可課責，這些你們到底有沒有？
吳秘書長三龍：所以這個要很慎重……
林委員淑芬：這個你不會，叫處長來回答，我相信秘書長你不知道啦！
邱處長士賓：謝謝委員的意見，剛剛提到指引的部分，其實我們現在已經在……
林委員淑芬：足跡可不可追溯？使用者使用了多少……
邱處長士賓：以這部分來講的話，其實系統都可以追蹤使用者的使用紀錄。
林委員淑芬：使用了多少、參採了多少有辦法知道嗎？
邱處長士賓：如果需要這樣統計的話，技術上都沒有問題。
林委員淑芬：你們說應該不會出現像ChatGPT一樣的錯誤，人家ChatGPT花了多少錢，都還有這麼多的錯誤，你怎麼知道你們的系統應該不會像它那樣子？這個把握和這個風險到底有多高或多低？你怎麼評估出來的？「應該」是什麼意思？
邱處長士賓：關於這部分，以生成內容來講的話，應該只有在適用法律的例稿式內容，以這部分來講，在訓練過程當中都可以很容易找出錯誤的地方，所以……
林委員淑芬：你現在講的我都聽不懂，訓練過程是要透過大量資料訓練出來的……
邱處長士賓：對，就是所謂監督式的訓練，因為訓練出來的……
林委員淑芬：你知道有可能因為原始資料不均或不足而產生偏差嗎？你知道美國法院在運用由商業開發的AI系統，幫助法官評估被告的再犯風險來做為量刑標準，但是那個系統他們花了多少錢？針對系統運作，後來他們檢視發現AI系統複製了過去司法系統中已經存在的偏見和不平等，然後會擴大、放大這個偏見和不平等，譬如種族歧視。高等法院的刑事庭法官邱筱涵也曾經做過問卷調查，秘書長你知道嗎？他有跟108位法官進行調查，你知道這個調查的事情嗎？
吳秘書長三龍：這個我還沒有深入去瞭解。
林委員淑芬：其實受訪的法官對於一鍵式的AI判決書生成多表示質疑，他們認為判決的複雜程度很難透過你們建置的這種方式有效表達，反而會帶來更多的錯誤和偏見。現在要建置不知道要花多少錢，你現在講不出來，你自己都講不出來這套AI判決書系統是不是也有可能會產生這樣的偏誤風險？是否有進行評估？如何監控？如何降低風險？如果民眾因為AI判決而權益受損，他需不需要知道哪些是AI生成的、法官參採的？要不要？
吳秘書長三龍：所以這種問題要很慎重，委員的意見很重要，就是說要很慎重。
林委員淑芬：對啊，要很慎重啊！看到你們這樣，我覺得你們不夠慎重啊！我們不能讓AI變成隨便、變成另一種黑箱，到底法官參採多少我們也不知道，然後司法院應該要發展更負責任的人工智慧，但法官的壓力，你知道未結件數、終結件數都顯著增加，明明就是需要大量的人力，他也是需要啦！你們要使用，其實我一再地強調這個我們不反對，而且甚至是支持，但是AI的裁判系統需要透明，要透明！要讓民眾知道這個系統是否使用了不當的資料或不合適的設定，而且需要可課責性，系統的使用需要達到設定的目標，要有助於司法和一般人民的權利，而且要有獨立的查核機制和事後的檢核，還有評估的程序等等。你們現在連參考指引都訂不出來，我們還認為你要訂參考指引也要開公聽會，廣邀相關的利害人與會及學界等等，並參考最新的國際規範，務必一定要降低風險、清楚說明風險，才可以讓這套系統上路。我舉一個例子，有關裁判書的公開是不是都是必要的？除了特殊的兒少法、少年事件處理法、性侵害防治法、國家機密之裁罰以外，所有裁判書都會公開，是不是？
吳秘書長三龍：就是要依照規定公開。
林委員淑芬：照規定公開嘛！因為我們透過裁判書公開的機制，也可以監督法官的裁判是不是公正、是不是妥適、有沒有保障人民知的權利以及有沒有公平審判。我們辦公室因為陳情案件要查詢一件判決書，這判決書是去年才判決的，結果判決系統找不到這份判決，它跟那些得以不公開的法律通通都無關，是一個有關引水法，就是港口引水人事件的判決，在去年而已，我們都找不到，然後問一下司法院，司法院去瞭解的結果是說當時系統沒有上傳成功，所以就沒有繼續上傳，連這種沒有任何問題，只是要叫你們把裁判書上傳而已，而且照規定都要，你們都可以漏掉，它不是裁判書遮隱原則裡面規定的，且裁判書件有多少啊？幾萬件啊！我竟然隨便google一個就找到沒有上傳的裁判書，現在連這種上傳，你們都做不好，都有發生問題，你怎麼跟我們保證你們委外建置的這個AI系統……現在不知道要花多少錢、不曉得要做到什麼程度？到底有沒有漏掉什麼資料？你們到底餵了它什麼資料？你們訓練出來的到底是什麼東西？秘書長，我先告訴你，這種事情你說它是小事嗎？其實也非同小可。
吳秘書長三龍：這是很重要的事。
林委員淑芬：這件裁判書就沒有上傳了，幾年來有幾百萬、幾千萬、多少萬件的裁判書？
吳秘書長三龍：因為它可能有時候關鍵字在篩選……
林委員淑芬：沒有，它是完全沒有上傳，因為我們詢問司法院，完全沒有上傳，當時系統沒有上傳成功，你們的系統沒有上傳成功，也沒有再上傳，你們的系統，這是什麼系統？拜託！光這種上傳就出問題了，你說你們的AI訓練系統可靠嗎？然後你們要引用它的草稿來寫裁判書，法官太忙了，看草稿沒有問題就寫上去了，我們也不知道法官到底是哪一部分運用了AI生成系統。
吳秘書長三龍：所以這個要很慎重。
林委員淑芬：然後也沒有法律課責，也沒有參考指引，現在就要上路了，老實說這是「倒頭生」，茲事體大。所以我剛才的個案也請你們給我們一個資料和說明，就是我們有問過你們引水人裁判事件的那個個案。
吳秘書長三龍：委員，這一部分，我們都會列入，會儘快回報。
林委員淑芬：你們就沒有公開，也沒有說明，所以我們要看這份資料，沒有事涉到法律需遮隱原則，沒有啦！這個要上路，我們很擔心，你們回去好好想一下，秘書長，不能只是說我對法官有信心，法官絕對沒有問題，不要在人民對司法的信任度很低的狀況下再雪上加霜，讓人民對司法判決更沒信心，謝謝。
吳秘書長三龍：謝謝。
主席：好，謝謝林淑芬委員。下一位吳琪銘委員、吳琪銘委員，吳琪銘委員未到。所有登記發言委員均已發言完畢，詢答結束。委員質詢時要求提供相關資料或以書面答復者，請相關機關儘速送交個別委員及本會。委員鄭運鵬、吳琪銘、劉建國所提書面質詢均列入紀錄，刊登公報，並請相關機關以書面答復。