子供のころより特徴的な声のせいでいじめられてることもあり、引っ込み思案になっていたところに母が「黙ってばかりでは弱くなるからどんどん声を出して聞き取りやすい声の出し方や話し方を覚えるように」と言われ、中学で応援部に入ろうとするも女性を理由に断られ、放送研究部に入ってアナウンスをやったりラジオドラマを作って流したりしていた。周りからは担任教師始めやめるように言われたが1か月経つと何も言われなくなり、演劇部に誘われて初舞台でシンデレラの継母役を演じた。高等学校2年生の時に、母親が子宮癌により42歳で死去。高校では演劇部と水泳部に入っていたが母の入院でやめ、母の死後、独身で子供もいない中で生きていくため手に職をつけるため、演劇の道に進む。1956年、NHKドラマ『この瞳』で俳優座養成所第7期生の冨士眞奈美と共にデビュー（同期は水野久美、富士真奈美、露口茂、井川比佐志、田中邦衛）。当時から冨士とはとても仲が良く、冨士が大山のアパートに転がり込んで 4年半ほど一緒に同居していた。声優業は1957年『名犬ラッシー』の吹き替えでデビュー、1965年『ハッスルパンチ』にて初主演。後に代表作となる『ドラえもん』以前では、『ハリスの旋風』の石田国松や『無敵超人ザンボット3』の神勝平のようにハスキー声でやんちゃな喋り方をする演技が特徴的で、後者では主にアドリブで｢べらんめえ調｣の喋りも多用した。『ドラえもん』のドラえもんは本人により丁寧な演技が心掛けられ、以前のような荒々しい演技は影を潜め、長年の放送期間を経て徐々に低音でゆったりと喋る演技に変化していった。『ドラえもん』降板後は声質の変化もあり、ダンガンロンパシリーズのモノクマや『ゼウシくん』でのみの太など『ドラえもん』時代の演技に比べハイテンションで高く張りのある声が特徴的だった。代表作である『ドラえもん』のドラえもん役は1979年4月から2005年3月まで26年間演じた。大山がドラえもんを演じた作品は2作目のアニメ版にあたり、第1作にて富田耕生を継いだ野沢雅子の後任にあたる。番組リニューアルにより、2005年3月18日放送分の『ドラえもん オールキャラクター夢の大集合スペシャル!!』、2005年3月25日放送の映画『ドラえもん のび太のワンニャン時空伝』（CM前のお別れコメント）を以って降板、その後は水田わさびに引き継がれた。2001年に直腸癌が発見され、手術で除去した際に悪性であることが発覚した。その際に長期入院が必要となったためすべての取材と出演の仕事をセーブしたが、子供たちに夢をどうしても与えたいという強い思いからドラえもんのアフレコの仕事のみ一切休むことなく体調の様子を見ながら、退院までの間アフレコに必要な機材を病院内に持ち込んだ上で、スタッフに見守られながら病室で収録に挑み、見事にいつもどおりのドラ声を演じきった。またこの入院を期にドラえもんの声の勇退を決意する。しかし、長年支えてきたスタッフの慰留やドラえもんというブランドの多大なる影響もあり2001年度ですぐに降板することはできず長期的に極秘で話し合いを行った結果、最終的には退院・完治後の4年後となる2005年の降板となった。2005年3月に放送ウーマン賞を受賞する。2006年11月の第11回アニメーション神戸では、その功績が称えられ、小原乃梨子ほかオリジナルレギュラー陣（テレビ朝日版）4人と共に特別賞を受賞。そして翌2007年3月にも、東京国際アニメフェア2007より、第3回功労賞を（4人と共に）受賞した。同年4月には音響芸術専門学校（東京都港区西新橋）の校長に就任し、直接学生の指導に当たった。アニメ歌手としても活躍。1980年には、EP『ドラえもん音頭』など大山が歌ったドラえもん関連のレコード売り上げが100万枚を突破し、日本コロムビアのゴールドディスクを受賞した。料理研究家としても活動し、著書に『大山のぶ代のおもしろ酒肴』（主婦の友社、1981年）、『おかずのアイディア180』（小学館、1995年）、『大山のぶ代の毎日のおかず』（グラフ社、2000年）などがある。中でも『大山のぶ代のおもしろ酒肴』は136万部のミリオンセラーを記録した。2000年代後半以降は、講演やタレントとしてのテレビ・ラジオ出演を中心に活動。『元祖!でぶや』などのナレーション活動にて、声優としての活動も続けた。2008年4月24日に、音芸の校長室で授業準備中に、心筋梗塞と脳梗塞を併発して倒れ緊急入院したが、投薬治療を行い、同年8月17日に退院。自宅療養とリハビリにより、日常生活の不安はないまでに回復し、活動を再開した。しかし、その後も引き続き各種テレビ・ラジオ番組ゲスト出演、講演活動、雑誌・ネット・新聞各社取材・そして音芸での指導といった多忙・激務が続いたことによる体調不良を理由に、2010年頃より徐々にではあるが仕事をセーブし、2013年いっぱいで音芸の校長を退いた。同時に音芸公式サイトからもプロフィール写真が削除された。先述の中で顔出しのテレビ番組出演に関しては2012年放送『クイズ☆タレント名鑑』の1企画「ドラえもんの道具いくつ覚えてる?」のVTR出演が最後であり、顔出しの取材依頼でも2014年に受けた『覚悟の瞬間』が現時点で最後となっている。2013年以降はテレビ、2015年以降は取材でも顔出し出演をしていない（ただし、2015年に夫の砂川が「徹子の部屋」出演した際には、盟友・司会の黒柳徹子への声のみのメッセージとしては登場している他、後述の『ダンガンロンパ』の2015年の制作発表でも写真と声のみでメッセージを送っている）。2010年、PSP用ゲームソフト『ダンガンロンパ 希望の学園と絶望の高校生』のモノクマ役で『ドラえもん』降板以来 5年ぶりに声優復帰。さらにこの作品で人生初の悪役を演じることになる。さらに2012年発売の『スーパーダンガンロンパ2 さよなら絶望学園』にもモノクマ役で引き続き出演しており、2013年ではテレビアニメ化『ダンガンロンパ 希望の学園と絶望の高校生 The Animation』でも出演することになった。テレビアニメへの出演は『ドラえもん』降板以来であると同時に、深夜テレビアニメ作品もこれがデビュー作である。その上、新キャラクター出演も1979年のドラえもん（テレビ朝日版第1期）のドラえもん役以来、34年ぶりである。2012年秋にアルツハイマー型認知症との診断を受ける。このことはしばらく内密にされたが、2015年5月13日、TBSラジオ「大沢悠里のゆうゆうワイド」にゲスト出演した夫の砂川啓介により、認知症を発症し、闘病中であることが明らかにされた。長らく1936年10月16日生まれとしていたが、2015年5月15日、東京都内で記者会見した砂川によると、大山のぶ代は1933年（昭和8年）10月16日生まれで、認知症公表の時点で81歳だった。1936年生まれと称していた理由は、結婚した1964年当時は姉さん女房に抵抗のあった時代であり、砂川の両親に対する大山の心遣いとのことである。このことに関して、大山本人が述べたことではない。また、アニメ声優を担当した作品としては2014年から2015年にかけて第1・2シーズン合わせて計17話、全農によって制作された、Webアニメ「おにくだいすき! ゼウシくん」が公式に認知症を公表した時点では最後であり以後、新しい作品は担当していないが、そのゼウシの時点ではすでに認知症を発症していたにもかかわらず、往年のドラえもんにおけるサブタイトル画面の声（ドラえもん）を彷彿とさせるサブタイトルの声（みの太）を披露している（ただし、第1シーズン11話と第3シーズンを除く）。認知症発症当初は砂川、夫妻のマネージャー小林明子、家政婦らによる在宅介護を受けていたが、砂川の尿管癌治療に伴い、2016年4月より老人ホームに入所している。『ダンガンロンパ』のモノクマ役も降板し、舞台版からTARAKOに受け継がれた。砂川は2017年5月に入院。退院4日後の6月13日、脳梗塞で意識を失い救急搬送され再入院。2017年7月11日早朝、容体が急変し他界した。大山は小林マネージャーに連れられ入院中の砂川を何度か見舞っていたが、大山・小林マネージャーともに砂川の臨終には立ち会えなかった。大山は数日後、葬儀所で棺の中の砂川と対面したものの、すぐに棺から離れ、その場を去ったという。大山が喪主となったが、通夜、葬儀とも出席しなかった。砂川は入院後、小林マネージャーに後事を託しており、大山は今後も引き続き老人ホームで過ごす。その後、老人ホームには小林マネージャーが通って大山の面倒を見ている。小林マネージャーは『文藝春秋』2017年9月号に夫妻の闘病や介護に関する手記「大山のぶ代は夫の棺に涙ぐんだ」を寄稿した。大山の認知症は進行しているが健康状態は良く、体調も回復。合唱などの活動に取り組み他の入所者との交流を楽しんでいる。小林マネージャーによると、砂川が他界したという事実を大山がどの程度理解できているのかは定かではない。