平安時代、寝殿造りの建築にあった来客と主人が対面するところ、客亭（出居）が、太田博太郎らによって、その起源にあげられている。客亭の多くは、二棟廊があてられた。また、形態から見ると、会所は、寝殿造から書院造への過渡期にあたるものとして注目されている。初期の会所とよばれた空間は建物の一部だったり、常御所や泉殿と兼用だったりしたが、室町時代には独立したものも増え、特定の建物に会所の名がついた。
「会所」の語は、平安時代末期から見られる。藤原定家の日記、『明月記』（建仁三年十二月十日条）にある記述は、「会所」の初見とされる。そこには、後鳥羽上皇の宇治御所にあった「風呂御所」のなかに「御会所」があった、とある。これとは別に、平安時代後期、慶滋保胤が尽力した勧学会が初出であるともいう。ここから、重要な史料をいくつか引用していくが、登場する「会所」の語は、太文字にして、強調した。
以下ふたつは、「会所」の語がみえる初期、鎌倉時代での記述である。鎌倉時代初め、鴨長明の『無名抄』「近代会狼藉事」にこう書かれている。
此比の人々の会に連なりて見れば、まず会所のしつらひより初めて、人の装束の打解けたるさま、各が気色有様、乱れがわしき事限りなし
『無名抄』にある「会」とは、歌会のことである。『沙石集』では、酒宴の場を座席と、詩歌の場を会所と表現し、どちらからも、会所が文芸に関りの深いところだ、ということが分かる。また、会所に集う人々によって、その場は「乱れがわし」くなり、また、「無礼ノ事多」かった、と批判的に書かれている。
南北朝時代を描いた軍記物語である『太平記』の巻三十七では、足利尊氏方の佐々木道誉が都を落ちるときの話として以下のようなくだりがある。
室町時代の会所.
建築の形態から見ると、その間取りは、禅宗寺院の方丈との類似が指摘されている。また、主室に三幅対の掛軸を飾り、その前に三具足が置かれたこともあることから、実際に、方丈を意識してつくられたのだろう。建築史家の伊藤毅は、中世の草庵の、中世の会所との対照的なありかたをみて、その関連性を述べている。