伽藍跡からさらに約500m登ると、奥の院がある。奥の院は岩壁に穿たれた岩屋の中に嵌め込まれるように建てられており、本尊の千手観世音菩薩像が安置されている。奥の院の左手には、仁聞が入寂したといわれる窟があり、枕の岩屋と呼ばれている。また、周囲には六所権現などもある。
西行返しからさらに進むと、伽藍跡に着く。千燈寺の伽藍跡には堂宇はなく、中心となる護摩堂跡に一対の仁王像が立ち、各所に石垣が残るのみである。仁王像は、一枚岩に半肉彫りにされた珍しいものである。
千燈寺から細い坂道を登ると、まず西行返しと呼ばれる場所に着く。この場所については、和尚と問答するために千燈寺を訪ねようとした西行が、ここで出会った小僧に試しに問答をしたところ、その答えが機知に富んでいたため、小僧でさえこのような答えを返すとは和尚は如何ばかりかと恐れをなし、寺を訪れることなく帰って行ったという伝承が残り、その名の由来となっている。なお、西行にまつわるこの種の逸話は、日本各地に多数伝わっている（西行#旅路において参照）。
千燈寺の近くの県道31号沿いには、千燈石仏と呼ばれる石仏がある。この石仏は、高さ1m、幅2mの板状の自然石に、菩薩来迎図を半肉彫りしたもので、正面に阿弥陀如来、その左に観音菩薩、勢至菩薩などが刻まれ、その周りで25菩薩聖衆が種々の楽器を奏でて菩薩を迎える様が表されている。鎌倉時代の作とされ、大分県の史跡に指定されている。
現在の千燈寺（位置）は、旧千燈寺に残った坊が昭和初期に山麓に移転したもので、大分県道31号山香国見線沿いにある。国東六郷満山霊場第二十三番札所である。大分県の有形文化財に指定された鎌倉時代中期の木造如来坐像（像高52cm）及び石造宝塔（総高59cm）、大分県の有形民俗文化財に指定された慶長15年（1610年）の銘のある千燈寺修正鬼会面などを所蔵している。
小中学校の教師を経て、戦後は民主主義教育の指導者として組合活動にも携わり、推されて群馬県教組の文化部長にもなった。1952年に41歳で群馬県南端の利根川を挟んで本校と分校に分かれていた佐波郡島村の島小学校（後の伊勢崎市立境島小学校、2016年閉校）という小さな学校の校長となり、11年間、「島小教育」の名で教育史に残る実践を展開した。その後、近隣の境町立境東小学校で1年、町で最も大きな境小学校（現・伊勢崎市立境小学校）で5年間校長を務めて実践を発展させ、1969年に59歳で定年退職した。島小時代には毎年授業と行事（合唱、体育発表、野外劇等）を中心とした公開研究会を開き、計8回の公開研に全国から1万人近い教師、研究者が参加した。教育科学研究会（教科研）の活動にも熱心に参画し、同会に教授学部会を設けて柴田義松らと共に世話人を務めて主導的役割を果たした。斎藤の人気で、教科研の全国大会では同部会の参加者は他部会に比して突出して多く、とても一部会として収まり切れなくなってしまった。そのため1973年、教科研を脱退して「教授学研究の会」を結成し、毎年公開研究大会を開いて定員一杯の700名を越える参加者を集めた。また神戸御影小、広島県大田小、室蘭啓明高校、青森三本木中学校、呉鍋小、長崎森山東小、石川東陵小等々、斎藤の教育に共鳴する全国10校を越える学校に毎年定期的に赴いて教師と子供たちを指導し、どの学校でも公開研究会を開いた。特に御影小、大田小、啓明高などは指導に入った年数も長く、公開研究会の回数は、それぞれ8回、6回、5回に達した。さらにまた、佐賀大学、大分大学、岡山大学、都留文科大学等々の非常勤講師を務め、晩年には林竹二学長に要請されて宮城教育大学授業分析センター教授に就任し、定年まで半年間であったが横須賀薫教授を援けて「教授学」の講義と演習を担当し、教師養成教育に努めた。これらの教育活動の記録は、1978年3月、NHKテレビから「教えるー斎藤喜博の教育行脚」という45分番組として放映された。定年退職後、全国各地の学校を教育行脚して教師と子供たちを指導し、またいくつもの教員養成大学で教師養成教育に携わり、さらに「教授学研究の会」を主宰して、子供の可能性を引き出す教授学を築き上げることに全力を傾注した。講演の依頼も多く、斎藤の日常は東奔西走、猛烈な忙しさで、70歳で肝炎で亡くなったが、こういう忙しさが寿命を縮めたのではないかとも思われる。同郷の土屋文明に師事するアララギ派の歌人としても著名で、アララギの郷土誌『ケノクニ』（毛の国）を主宰して生涯に3,423首の歌を詠み、5冊の歌集を刊行した。青年教師だった時代には抒情的な歌を詠んだが、校長になってからは「闘ふために短歌も武器とせむ文学になるかならぬかは今はかまはず」（『証』）と観じ、「理不尽に執拗に人をおとしめて何をねらうのかこの一群は」（79年・未発表）のように、彼の仕事を妨害する輩を痛烈に批判する歌が主流になった。革新的な教育を進めることによって出会うストレスや鬱屈を、彼は歌で発散させていたと見ることができる。