最初は南部相撲で相撲人生をスタートさせた。1783年3月に初土俵（二段目〈現在の幕下〉）を踏んだ。1786年3月東二段目6枚目にあがり、現在でいう十枚目昇進を果たす。1789年11月場所、西十両筆頭で7勝1敗2分の優勝相当成績を挙げ、翌1790年3月場所で新入幕を果たした。そして、いきなりこの場所で8勝1敗の優勝次点（小野川喜三郎〈のちの第5代横綱〉が8勝1無の成績で、優勝相当成績となった）の好成績を挙げ、幕内に定着することが出来た。その後1791年11月場所で6勝1敗1休1分1無，新小結となった翌1792年3月場所で8勝0敗1預1無の好成績を挙げているが、当時の幕内は小野川，谷風〈のちの第4代横綱〉の両横綱に史上最強力士と謳われた雷電爲右エ門（元大関）がおり、しかも3人の全盛期に当たってしまった（尤も、谷風は1795年1月にインフルエンザで現役死しているが）ために幕内で優勝相当成績を挙げることは出来なかった。それでも、谷風と小野川が横綱免許を授与された時には、横綱伝授の介添役を務めた。1796年10月場所で関脇に昇進。そして、1804年3月場所で雷電や他の雲州出身力士の不出場の恩恵を受け、大関に昇進したが、大関での本場所の土俵に上がることは出来ず（9休）、1場所で関脇に陥落した。しかし幕内在位は17年の長きにも及び、1807年2月場所限りで引退した時は47歳になっていた。現役末期の1806年11月場所より年寄・二所ノ関を襲名し、二枚鑑札となっていた。後に、昭和時代に一時代を築く事になる二所ノ関部屋の開祖となった人物である。ただ二所ノ関が江戸所属の名跡になるのは幕末の頃で、当時は南部相撲の名跡だった。南部相撲では小頭を務め、弟子育成にも熱心だったと伝わる。年寄在職中の1823年2月5日に死去。63歳だった。幕内通算 24場所 70勝21敗14分2預6無104休の成績を残した（但し、江戸時代故、記録に散佚が見られる）。優勝相当成績1回（十両時代の1789年11月場所）。改名歴は4回ある：瀧ノ上 → 瀧之上 → 瀧ノ上 → 錦木 → 二所ノ関　軍右エ門　この内、「錦木塚右エ門」は南部の名勝「錦木塚」に因んだと言われ、この四股名でも有名である。
東京都新宿区生まれ。1987年、国際基督教大学教養学部語学科を卒業し、TBSテレビに入社した（ディレクター）。1991年、アメリカ合衆国のトーマス・クーリー法科大学院を修了し、同年からニューヨークのマークス村瀬法律事務所に勤務する。1993年、アメリカ合衆国司法試験（ニューヨーク州・コネチカット州）に合格し、ハリウッドのワーナー・ブラザース、松竹、ポリグラムにおいて法務室室長を務めた。1996年、ニューヨークのハッシー法律事務所に転じ、2004年よりソニー・ピクチャーズ法務部シニアマネージャー。2005年、民主党が実施した候補者公募に合格し、同年10月23日投開票の参議院神奈川県選挙区補欠選挙に同党公認で出馬したが、前年まで民間人閣僚の外務大臣だった川口順子（自由民主党公認）に敗れ、落選した。2007年の第21回参議院議員通常選挙に再び神奈川県選挙区（定数3）から民主党公認で出馬し、100万票超を獲得して初当選した（同じく民主党新人の水戸将史も得票数3位で初当選）。2012年9月の民主党代表選挙では、現職の野田佳彦首相の再選を支持して野田の推薦人に名を連ね、野田が赤松広隆、鹿野道彦、原口一博を大差で破り再選された。2013年の第23回参議院議員通常選挙に定数が4に増員された神奈川県選挙区から民主党公認で出馬。島村大（自由民主党）、松沢成文（みんなの党）、佐々木さやか（公明党）の当選が確定した後、残る1議席が牧山、畑野君枝（日本共産党元職）で争われ、牧山が2万票弱の僅差で畑野を振り切り、再選（なお、2007年に同期当選し、民主党を離党して日本維新の会に鞍替えした水戸将史は落選）。2014年、参議院参議院政治倫理の確立及び選挙制度に関する特別委員長に就任。2015年1月の民主党代表選挙では、細野豪志元幹事長の推薦人に名を連ねたが、細野は決選投票で岡田克也に敗れ、岡田が代表に選出された。2016年3月27日、民主党・維新の党の合流により結党した民進党に参加。2017年10月、本村賢太郎の離党により後任の民進党神奈川県連代表代行に就任したが、2018年4月23日に辞任。5月7日、民進党・希望の党が合流した国民民主党に参加せず、立憲民主党に入党する意向を表明し、民進党を離党して立憲民主党に入党届を提出。立憲民主党は5月8日の常任幹事会で牧山ら11人の国会議員の入党を了承した。2019年7月の第25回参議院議員通常選挙に立憲民主党公認で神奈川県選挙区から立候補し、2位（改選数4）で再選。2019年10月4日、参議院環境委員長に就任。