山頂北側に位置し16世紀末、毛利氏時代に仁保城主となった三浦元忠（兵庫頭）の菩提寺として建立された。寺の山号は「黄金山」であり、黄金山の名が史料に現れる最初期のものである。境内には元忠のものと伝わる墓所が残されており（現在は碑銘が摩滅）、かつては元忠の法名を記した位牌もあったという。現在は無住となり、観音堂と墓石のみが残っている。なお、隣接する仁保中学校の校地（仁保一丁目）は山腹を切り開いて建設された。
黄金山の山頂近くは自然公園「黄金山緑地」として整備されており、山頂には展望台、トイレ、黄金山ハウス（レストハウス）、および地上アナログテレビジョン放送送信所（後述）などが設置されている。また仁保城本丸および二の丸の石垣が残っている。黄金山緑地入り口手前には黄金山住宅（市営住宅）および黄金山配水池がある（以上、いずれも黄金山町内）。山頂に連なる周辺の丘陵には観音寺（黄金山町）、仁保城出丸跡（北大河町?）、案内地蔵（本浦町）、邇保姫神社（西本浦町）などがあり、麓の旧道沿いには竈神社（仁保一丁目）、西福寺（仁保二丁目）、大銀杏（仁保三丁目）、住吉神社（仁保四丁目）などの寺社・旧跡がある（仁保地区および本浦地区参照）。
広島市中心部（太田川下流のデルタ部）の大部分はかつては海であった。黄金山もその当時は江波、比治山、宇品島（元宇品）、向洋などと同様、広島湾に浮かぶ島のひとつで、仁保島と呼ばれていた。仁保島は広島湾に浮かぶ要害の1つとして重要拠点になっており、現在の山頂には仁保城（仁保島城とも）が築かれていた。江戸時代になって広島湾の干拓が進み、1662年、東新開（現在の東雲）の造成によって仁保島は比治山・段原などと地続きになった。明治以後、黄金山は行政上安芸郡仁保島村の村域であったが、1929年、同村が広島市に編入合併されてからは「仁保町」の一部となった。第二次世界大戦後の黄金山は、1956年の市営住宅の建設など一方で山腹の宅地化が進行した。と同時に1958年には登山道路が開削、1959年には山頂にTV塔が設置されるなど、黄金山は公園（黄金山緑地）として整備され、山頂には展望台やレストハウスなどが設置された。1966年9月1日には町名が変更され、黄金山緑地を中心とする地域は仁保町から分離されて「黄金山町」となった。黄金山町は当初仁保小学校の学区であったが、1977年仁保小から分離して黄金山小学校（南区北大河町）が開校すると同小の学区に編入された。その後1986年〜1992年の仁保南団地の造成により、2000年8月には登山道から仁保中学校前を経由して同団地を通り「仁保車庫」に至る広電バスの路線（仁保南経由4号線）が新たに開業した（#交通参照）。
古くは一般に「馬耳山」「城山」の名で呼ばれていた。前者は形態、後者は山頂に城塞（仁保城）が築かれた史実に由来するものと考えられる。黄金山の名の由来には諸説ある。「瀬戸内特有の夕陽に黄金色に輝いて見えたから」「航海の安全のための狼煙が天を焦がすほどだったから」「麦畑の穂が黄金色に輝いていた」など諸説あるが、地元では「白い実をつける南天の根元を掘れば小判（黄金）が出る」という伝説が伝わっている。
奈良県は地形と気候から見て奈良盆地、大和高原、吉野山地と変化に富む3つの地域におおまかに区分できる。太古の湖であった奈良盆地は全国有数の肥沃な土地であり、また、いずれの地域も内陸性気候で昼夜の寒暖差が大きい。このため味の良い多様な農作物が育つ風土に恵まれている。有史以来、大和は国の中心であり、784年に都が長岡京に遷された後も大社寺が栄えたため、農産物をはじめとする物品が全国から集まり、土着化して食文化の中に根付いてきた。さらに、古代の灌漑技術や条里制、近世の「田畑輪換」の成立とため池の構築、近代には明治三老農のひとり中村直三に代表される篤農家の輩出や「奈良段階」と称賛された生産性の高さ、そして現代、2011年奈良県産ヒノヒカリの食味ランキング特A全国トップ3獲得に象徴されるように、大和は常に農業先進地であった。奈良県内では、このような大和の風土と歴史、文化に根ざした多種多様で個性的な在来野菜が作り継がれてきたが、栽培や収穫に手間がかかり大規模生産と流通に向かないため、高度成長期以降、一般的な品種が栽培されるようになっていった。奈良県農林部は、1991年（平成3年）5月、伝統野菜産地育成検討会で「大和まな」と「祝だいこん」の取組を開始、翌92年（平成4年）には「宇陀ごぼう」「丸なす」で奈良県経済連に補助を決めた。これらの取組は一旦立ち消えになったが、2002年（平成14年）に川西町商工会が「結崎ネブカ」の復活に着手。2004年（平成16年）には県が大和野菜振興対策事業を策定し、農家の自家需要など地域で大切に自家採種されてきた固有の伝統野菜を次の世代に残して発展させ、産地の地域おこし、地産地消、大都市圏向けの地域ブランド化、観光・飲食産業への活用、遺伝資源の保存などにつなげるという観点から、2005年（平成17年）10月5日に在来種である「大和の伝統野菜」10品目と栽培等に工夫を加えた「大和のこだわり野菜」4品目を「大和野菜」に指定した。　以後、漸次追加指定され、2014年末現在、「大和の伝統野菜」20品目、「大和のこだわり野菜」5品目となっている。また、指定されていない在来野菜も約30品目確認されている。