拡張・整備が続けられた吉田郡山城内には、城主元就だけでなく、嫡子毛利隆元や一部の重臣たちの館も設けられたといい、戦時のみ城郭に籠もる従来型の山城から、平時の居館と戦時の城郭が一体化する近代的な性格を持つ城に変わった。元就の孫の毛利輝元の頃には石垣や瓦葺きなども使った近代的な城郭へと変貌した。天守は元就時代には無かったが、見張り用の櫓が本丸の最上段に建てられた。輝元時代には三層三階の天守があったともいうが詳細は不明である。天正12年（1584年）にも城の修築・城下の整備を輝元が指示しており、城下の上町を「しらかへ」にするように命じていたり、毛利氏が豊臣秀吉に従属した後に使用したと考えられる金箔瓦も出土している。しかし、山間部の盆地に位置する吉田郡山城は交通の便も悪く、天正19年（1591年）に広島城がほぼ完成すると、吉田郡山城は毛利氏の本拠としての役割を終え、家臣や城下町の商人らは広島城下に移住した。廃城時期は、毛利氏の広島移住後の天正19年、関ヶ原の戦い直後の慶長5年（1600年）頃などと諸説あるが、毛利氏の本城としての役目を終えた天正19年が事実上の廃城時期と言って差し支えないと考えられる。この時に、山麓の堀は埋められたとも言われているが、大坂城天守閣で保存されている穂井田元清書状内で、文禄3年（1594年）に元清が兄の小早川隆景とともに吉田に出頭したとあり、何らかの形で吉田郡山城が維持されていたことが確認できる。また、山城を重視する輝元が、完全な平城である広島城に対して、詰めの城として引き続き吉田郡山城を温存していたとの見方もある。
吉田郡山城の築城時期は不明とされるが、城内にある祇園社（正中2年（1325年）より以前の創建。現在の清神社）より後に築城されたとされる。吉田荘（よしだのしょう）の地頭職として毛利時親が下向したのは建武3年（1336年）であるが、宝永2年（1705年）に書かれた「高田郡村々覚書」には「時親公より以後」に吉田郡山城に住んだと記述してある。文和元年（1352年）に毛利元春が「吉田城」なる城に籠もったこと記録されていたり、応永4〜7年（1371-1374年）の毛利親衡書状の宛先が「郡山殿」となっているため、元春が築城したと解説される場合もあるが、これが吉田郡山城のことを指すのかどうか、現存の吉田郡山城に直接繋がる城なのかどうかは定かではない。当初の郡山城は砦程度の小規模な城で、一般的な国人領主や豪族の城と変わりなく、12代目にあたる毛利元就が入城する大永3年（1523年）までは大きな変化はなかった。元就は国人領主の盟主から戦国大名への脱皮を図り、郡山全体に城域を拡張していく。郡山全域の城郭化が始まったのは元就の晩年と考えられており、天文9年（1540年）から翌年正月まで続いた吉田郡山城の戦いの頃はまだ拡張前だった。ただし、尼子詮久（後の尼子晴久）率いる3万の大軍を撃退したこの合戦では、農民男女を加えた8000余りが籠城したとされるので部分的な拡張が始まっていた（もしくは、城郭化される前の全山に人を入れた）可能性も指摘される。少なくとも、南麓に堀が設けられたのは、天文20年（1551年）頃とされ、城域が拡張されたのも天文年間の後半とする見方もある。
城は可愛川（江の川）と多治比川に挟まれた吉田盆地の北に位置する郡山全山に及ぶ。築城初期は砦のような小規模な城だったが、毛利氏の勢力拡大とともに拡張され、山全体を要塞とする巨大な城郭となった。後に毛利輝元が広島城へ移るまでのあいだ居城としていた。
近代心霊主義では、個性を持って独立した死者の霊とコミュニケーション、いわゆる「霊界通信」が可能であると考えられていた。霊媒ウィリアム・ステイントン・モーゼスが霊の「教説」を「自動筆記」でまとめた書籍が『霊訓』であり、心霊主義のバイブルと評された。モーリス・バーバネルが、トランス状態で覚醒時とは別の人格・知性によって口頭で、質疑応答を交えて示された思想（自動筆記ではない）をまとめたものも「霊訓」と呼ばれている。この覚醒時とは別の人格がシルバーバーチ（英: Silver Birch）を名乗る霊であり、三千年前に北米北西部の山脈の中で暮らしていたレッドインディアン（アメリカ・インディアン、アメリカ先住民）であったと誤解されがちだが、シルバーバーチ本人は、インディアンの身体を(霊界側の霊媒として)使用してはいるが、自分はインディアンではないと述べている。その背後には高度に進歩した霊的存在者たちがいて、その教えも説いている、と解釈されている。シルバーバーチは、英語でシラカンバの意味。（以降便宜的に、シルバーバーチを名乗る知性による意見・見解の主語は、シルバーバーチとする。）意識的な人格以外の「知性」が語ったりつづったりするとされる「霊界通信」は、一般的に意識的な人格(霊媒)より筆記や発話の速度や完成度が高いことが特徴であるが、シルバーバーチの場合も同様であったといわれ、速記やテープからおこして、補筆訂正の必要がほとんどなかったという。シルバーバーチは、霊界通信は霊が霊媒の潜在意識を使って送るものであり、理想的な状態なら完全に霊の考えを述べることができるが、ある程度は霊媒の潜在意識によって内容が脚色されることは避けられないと述べている。このような霊と霊媒の間の機構を「潜在意識」の一言で取りまとめる説明は、近代心霊主義においても最も単純な部類である。シルバーバーチは、聖書や神学を引用して聖職者と論争したり、霊媒の潜在意識か独立した知性かという問いに、皮肉交じりに譲歩的な応答をするなど、少なくとも水準以上の知性を持つ存在である。