大学寮の学生は原則として寮内にあった寄宿舎である直曹（じきそう）に寄宿していた（なお、学令に学生の直曹寄宿の義務規定はないものの、学生生活に関する規定が存在しており、学生生活を大学寮が管理する方針が存在したと考えられている。これが後述の貞観式の規定を生む）。しかし、平安時代になって、文章博士を世襲した菅原氏が直曹である文章院を創建した（既存のものを拡充したとする見方もある）。その後、文章博士の地位が向上し、なおかつ菅原氏の文章博士の世襲が進むと、文章院及びそこに寄宿する学生に対する菅原氏の支配が強まることとなった。これに反発した有力氏族が相次いで寮の外に一族用の寄宿舎を建設した。このため、大学寮の直曹である文章院に対して大学別曹と呼んだ。当初、朝廷はこれを学生を公平に扱ううえで不都合と考えて、貞観式（大学寮）において「およそ寮家に住せざるものは貢挙するを得ざれ」の一文を設けている。これに対して藤原良房ら藤原氏が巻き返しを図った結果、藤原氏の勧学院は大学別曹として朝廷の認可を受けたと考えられている。
大学別曹はあくまで寄宿舎であり、自習場所や書庫などが設置されていたものの、大学寮の学生であること（あるいはその入学準備者）が寄宿の要件であり、試験や講義は全て大学に通って受けることとなっていた。後世、大学別曹を「私立学校」とする見解（重野安繹「本邦古来教育ノ大概」など）が出されたが、大学別曹に専門の教員が置かれて講義がなされたという記録はなく、また当時において私立学校に相当するものは、菅原氏の菅家廊下など、大学寮の教員や著名な学者がその私邸で講義を行った一種の「私塾」であったと想定できるために、この見解は成り立たない。