参詣道に描かれた人物像は、地物と密接に結びついた図像とそうでない図像に分類できる。前者に属するのは参詣道沿いを生活あるいは生業の場とする「居住者」の図像であり、後者は「参詣者」の図像である。居住者たちには、五条橋保全のための勧進に従事する大黒堂の勧進聖、犬神人や癩者のような坂者、茶屋の主や客引き、水汲みといった人物たちがおり、これらの人物は寺内を目指す方向を向いた参詣者たちとは対照的に、逆方向ないし参詣道に向き合う姿で描かれている。こうした人物の図像は地物との組み合わせで参詣道の場を形成しており、参詣道それ自体が空間の圧縮によって歪められているのを補い、案内図としての機能を保つ表現となっている。寺内に入ると、地物と人物との結びつきは参詣道ほど容易には分けることはできなくなる。というのも、例えば寺内にいる僧侶は、参詣曼荼羅だけでなく近世初期風俗画の工房における「儀軌」化された図像の切り貼りの配列であり、地物が明確に描かれて「場」の案内となっているがゆえに、僧侶と地物との結びつきはそれほど重要な役割を果たしていない。むしろ重要であるのは、その「場」がいかなる意味で霊場の一部であるかを示す、参詣者の像であった。泰産寺で安産を祈る女、本堂および朝倉堂で祈る男女、音羽の滝と本堂の間を行き来する願人、地主神社の前の石に向かって歩む男といった参詣者たちは、清水寺の信仰の根幹を成す場において、「場」を支える信仰を示すことを通じて、信仰的な案内図としての役割を果たしていた。こうした人物たちと対照的に、「場」とかかわりのない参詣者たちの図像がある。参詣曼荼羅には通絵図的に「儀軌」化された図像の切り貼りとして多くの人物像が配されているが、そうした人物たちを除いてもなお残る、特異な人物像が清水寺参詣曼荼羅には描かれている。それは第2の木戸から第3の木戸にかけて描かれる、騎馬の人物2人と付き従う人々の行列である。行列は騎馬の人物を中心とする2つのグループに分かれているが、中嶋家本では、後続のグループは輿を中心として8人もの従者を従えた姿で描かれている。これらの行列が何を意味するのかは明らかではないが、一般の貴人としてはあまりに仰々しく、例えば勅使参向のような重大な意味を持ったものであったかもしれない。いま一つ、特異な人物像が図中には描かれている。それは延年寺谷を行く2人連れの人物像である。僧侶と狩猟者の姿で描かれたこれら人物は延鎮と坂上田村麻呂である。田村麻呂が延年寺谷を遡って音羽の滝に至ったとする伝承もそれを裏付けるものであろう。延鎮と田村麻呂の図像は、時間的にもはるかに隔たった根源的な縁起の「場」を作り出しているのである。
この町の古代史についてはよく解っていない。発掘された遺跡、出土品および周辺地域の地名からグライフェンベルク全域が先史時代から定住地になっていたと推定される。近隣にはハルシュタット期の14の丘陵墓が見つかっており、2500年前から定住者があったことが示されている。紀元前500年頃までここにはおそらくイリリア人が住んでいたが、その後ケルト人によってアルプスの渓谷や東方に追いやられた。グライフェンベルクの東側の耕作地で発見されたコインは、ローマ人の存在を証明している。600年頃にはアレマン人がアンマー湖周辺地方に進出した。グライフェンベルクの集落自体は、10世紀前半にアムパー川からパール川までの所領を治めたアンデクス伯によって創設されたと考えられる。1248年に最後のアンデクス伯が亡くなった時、洗礼名 Grypho (Gripho, Griffo, Greiff) というミニステリアーレ一門の相続財に城砦があった。グライフは家門名で、相続した城砦はグライフェンベルクと呼ばれた。グリフォ・デ・アンデクスがグライフェンベルクの獲得者で創始者と見なされている。この名前は、1230年のシェイエルンへの寄進状にメラン公オットーの家人・封臣として記録されており、1257年にはグリフォ・デ・グライフェンベルクとして現れる。1396年にハンス・デア・グライフはジギスムント王の十字軍に参加し、ハンガリーでオスマン帝国と戦った。ニコポリスの戦いは十字軍騎士団の深刻な敗北で終わり、勝利したスルタンのバヤズィト1世は何千人もの騎士や従者を処刑した。こうした中でハンス・デア・グライフも、その家門の最期を迎えた。グライフェンベルク城砦は遺産としてシュヴァイカー・フォン・グンデルフィンゲンのものとなり、1404年に彼はこれを相続した。ゲオルク・フォン・グンデルフィンゲンはグライフェンベルクを獲得したが、早くも1410年にはこの城砦をバイエルン家の一族に売却している。エルハルト・フォン・パーファルがヴォルフガング公の城代としてこれを領し、1478年にはこの城とその保護領を併せたホーフマルク（農場の共同体としての村）全体を4000グルデンで購入した。1507年にバイエルン公兄弟は最終的にホーフマルク・グライフェンベルクをエルハルト・フォン・パーファルに売却し、「自由私有地」とした。これ以後、パーファル家が代々グライフェンベルクの領主を相続し、1849年までは裁判権をも行使した。裁判所の建物の前には、その象徴として1442年製の石の判事席が1959年まで置かれていた。1849年にこの地の世襲権は廃止され、裁判権はすべてランツベルクの地方裁判所、現在の区裁判所に帰属することとなった。1935年、グライフェンベルクにドイツ女子同盟 (BDM) の "Obergauführerinnenschule ‚Hochland"（指導者養成学校）が創設された。