プロンプトは自然言語プログラミングになりうるか？

大規模言語モデル(LLM)の発展により，自然言語で書いたプロンプトからコードを生成できるようになった．プロンプトは新しい自然言語プログラミングではないかという問いも生じた．本研究では，この問いに対し，プロンプト品質とプログラム品質の関係を定量的に調査した．プロンプトの評価として，ソフトウェア開発の知見に基づき5カテゴリ15項目の評価基準を策定し，画像分類モデルの作成，名前性別判定，オセロAIの3種類の課題で実験を行った．学生から収集した合計212件のプロンプトを分析した結果，プロンプト評価とプログラム性能の間に有意な相関は見られなかった．この結果は，LLMの非決定性や，従来のプログラミング言語との本質的な違いを示している．本研究は，プロンプト技能の訓練だけでは不十分であることを示唆している．