物理学実験場は1889年(明治22年)11月に建設された。その後二階が増築され、現在は国際交流センターとして使用されている。本部構内、時計台の西側にある煉瓦造りの建物である。以前は京大最古の大学建築とされていたが、実際には吉田寮食堂（第三高等中学校寄宿舎食堂）の方が4か月早く竣工していた。
吉田寮現棟は第三高等中学校寄宿舎の部材を転用して建設されたことが分かっている。第三高等中学校寄宿舎は1889年（明治22年）に、山口半六と久留正道の設計により建設された。この建物は1894年（明治27年）からは第三高等学校（旧制三高）寄宿舎として、1897年（明治30年）からは旧・京都帝国大学寄宿舎として使用された。1912年に一度解体され、山本治兵衛と永瀬狂三により吉田寮現棟に再構成された。日本建築学会によると、吉田寮現棟の階段室などには前身建物の面影が見られる。過去に幾度も存続の危機に見舞われ、現在も老朽化や耐震性の不足が懸念されている。吉田寮自治会は補修を要求しているものの、京都大学は応じていない。なお、建築の専門家らは現棟を明治・大正時代の歴史的建築資産と評価し、補修を訴えている。2009年、京都府教育庁指導部文化財保護課は現棟を「京都府の近代和風建築」にリストアップした。2015年5月、日本建築学会近畿支部は京大の山極壽一総長宛に「京都大学吉田寮の保存活用に関する要望書」を提出した。また同年11月には建築史学会が山極総長宛に、現棟の保存活用を求める要望書を送付した。
吉田寮食堂は1889年(明治22年)7月に、山口半六と久留正道の設計により、山本治兵衛の現場管理の下、第三高等中学校寄宿舎の食堂として建設された。現在の本部構内、知恩院の向かいに存在していた。1894年（明治27年）からは第三高等学校（旧制三高）寄宿舎の食堂として、1897年（明治30年）からは旧・京都帝国大学寄宿舎の食堂として使用され、1913年（大正2年）には吉田寮の竣工に合わせて、吉田南構内・吉田寮の西隣に移築され、吉田寮食堂になった。ゆえに吉田寮食堂は第三高等中学校の遺構にして、京都大学最古の大学建築である。この事実は2012年4月に七灯社建築研究所の山根芳洋により明らかにされたが、丁度その時、京大は寮食堂を取り壊そうとしていた。結局、学生の反発と山根の発見により取り壊しは見送られ、補修が施された。
京都大学吉田キャンパスには、吉田寮食堂、吉田寮現棟、正門、門衛所、物理学実験室等が現存している。キャンパス外には琵琶湖岸の旧艇庫等が現存している。なお第三高等中学校時代の遺構は吉田寮食堂と吉田寮現棟、物理学実験場の三つだけである。
「第三高等学校」という名称を持つ学校の初代校長は折田彦市である。高等中学校に起源を持つ他の旧制高等学校では、高等中学校の発足をもって学校の創立とし、校長の代数も高等中学校時代にさかのぼって数えるのが一般的であり、これに従えば第三高等中学校初代校長の中島永元が「三高」の初代校長と見なされることになるが、三高関連の出版物では折田を初代とするのが一般的である。前後30年にわたる折田の存在が大きいことに加え、第三高等中学校の京都移転が折田校長時代に行われたことや、第三高等学校への改組が単なる改称にとどまらなかったことが要因である。
第二次世界大戦後の1949年（昭和24年）、学制改革に伴い、旧制京都大学（1947年（昭和22年）まで京都帝国大学）、京都大学附属医学専門部と共に新制京都大学に包括され、一般教養を担当する分校となる。1950年（昭和25年）、第三高等学校は最後の卒業生を送り出して廃止された。京都大学分校はその後教養部を経て総合人間学部となる。
怪談の内容をおおまかに表現すると、午後4時頃、学校内の特定の場所にいると、正体不明の老婆に襲われるというものである。この老婆は子供をさらうこともあり、四次元に引きずり込む、何もない世界へ連れて行くとも言われている。老婆に遭うと金縛りに遭う、トイレに閉じ込められるともいう。人間を殺すともいい、赤いマフラーで絞殺される、鎌で斬り殺されるといった説もある。他の怪談話と同様、設定のバリエーションに富んでおり、出現時刻が「午後4時」「午後4時4分」「午後4時44分44秒」「4月4日4時44分44秒」などまちまちであったり、その表記や読みも「ヨジババア」「よじばば」「4時ババ」「四時ババ」「四次元ばばあ」などの揺れがあったり、その出現場所も4番目のトイレ、黒板、竹薮などかなりの違いも見られるが、「午後4時」と「老婆」を共通点として各地の学校に伝わる怪談である。「赤い紙、青い紙」のような色に関するモチーフが加えられている場合もあり、4時にトイレに入ると「赤、青、黄、どれがいる?」と声がし、「赤」と答えると赤いマフラーで絞殺され、「青」と答えると血を抜かれて真っ青になり、「黄」と答えると助かるなどともいう。色についての問いに対し「四字ババ色と肌色」と答えなければ殺されるともいう。老婆の姿について語っている例は少ないものの、血だらけの老婆、人骨を積んだ乳母車を押している、透き通った目だけで現れる、などの説がある。名前や場所、時刻に「4」が絡むのは、「4」が「死」を連想させることが、この老婆の恐ろしさを暗示しているとの指摘もある。