2009年（平成21年）9月の政権交代に伴い、衆議院財務金融委員長へ就任。11月19日の同委員会における返済猶予法案の質疑で鳩山由紀夫内閣で最初の強行採決を取り仕切る。これに反発した自民党により解任決議案が提出され、公明党と日本共産党とみんなの党が同調した（民主党政権下では最初の解任決議）。同日の本会議における採決では、与党の反対多数により否決された。自身は、マスコミの取材に対し「これまで国会改革をライフワークの一つとして活動してきて、議員の中でもパイオニア的存在と自認してきただけに、ある意味、皮肉と言わざるを得ない。内心、忸怩たる思いだが、全体のスケジュールを考えると仕方なかった。」とコメントしている。文藝春秋の2010年（平成22年）3月号において、「民主党が持続可能な政権政党になるためには、メディア等で言われている「親小沢か非小沢か」というような対立軸を超えて、小沢幹事長から学ぶべきところを学びつつ、小沢さん一人に頼らなくてもやっていける体制を作り上げなければならない。そのためにも知見を蓄積し、それを次のマニフェストに活かせるような闊達な議論が展開できる場を創設すべきである」と述べている。
1991年（平成3年）に福島県議会議員選挙に出馬して、初当選する。当時26歳での当選は、県政史上最年少であった。県議時代は自由民主党に所属した。1993年（平成5年）に福島県議を任期途中で辞職。
1964年（昭和39年）に福島県に玄葉平五郎の子として生まれる。福島県田村郡船引町（現：田村市）出身。福島県立安積高等学校を卒業後、上智大学法学部に進学。1987年（昭和62年）4月、上智大学を卒業し松下政経塾に入塾する（第8期生）。
2016年プロ入り。2017年、クイックステップ・フロアーズに移籍。2018年、バスク一周最終ステージにてUCIワールドツアー初勝利を収める。ブエルタ・ア・エスパーニャ第20ステージではミゲル・アンヘル・ロペスとの一騎打ちを制して優勝、大失速したアレハンドロ・バルベルデに代わり個人総合2位となった。
1950年代終わりにしばしば協演していたウィーン・フィルハーモニー管弦楽団の奏者たちからは、敬意を込めて『ギリシャの哲人』と呼ばれ、高く評価されていた。暗譜をはじめ、見事なまでの記憶力はしばしば伝説的であり、元ウィーン･フィルの楽団長をつとめたオットー･シュトラッサーによると、「リハーサルの前夜、楽員名簿をホテルに届けさせて暗記し、翌朝の練習では奏者への呼びかけを名前で行なって、たちまち指揮者とオーケストラとの間に信頼関係を築くことができた」という。また、演奏会当日の朝に持ち込まれた新作の総譜を、「サイズが大きすぎて譜面台に載らない」といって、ページをバラしてホール内の通路上に並べ、歩きながら全部記憶してリハーサルも本番もこなしてしまったという、とても現実の出来事とは思われない逸話の持ち主である。
作新学院高校時代の1986年に開催されたソウル・アジア大会のポイントレースで銀メダルを獲得。競輪選手になってからは1989年のフランス・リヨンの世界自転車選手権（世界選）プロ・スプリントに出場し、イタリアのクラウディオ・ゴリネリにストレート負けを喫するものの銀メダルを獲得した。ちなみにこのときの世界選の模様をNHKで解説していた中野浩一は「ゴリネリに遠慮せず自分から一気にスパートをかけていれば勝てた」と悔しがっていた。1990年の前橋の世界選でもプロ・スプリントに出場したが7位に終わる。翌年、吉岡稔真が世界選のケイリンに出場することを表明したことから、それに遠慮する形で自転車競技への挑戦は一旦途切れることになり、しばらくは競輪に専念していた。ところが吉岡が1995年の世界選出場を最後に競輪への専念を表明したことから再び自転車競技への意欲を出してきた。さらに1996年のアトランタオリンピックからオリンピックでもプロ・アマオープンとなり、競輪選手にもオリンピック出場への道が開かれたことで、専属トレーナーから挑戦を勧められた神山は、オリンピック出場に意欲を燃やすことになる。ところが国内枠として1枠が設けられた1Kmタイムトライアルの代表選考会において、神山は十文字貴信の前に屈した。神山はこの時、1分3秒台で走破した十文字に1秒以上離され、十文字の強さを実感するとともに「やっぱり自分は五輪には縁がないのかな」と寂しさを覚えたという。この時点において神山のオリンピック出場の道は閉ざされた。しかし後にスプリントのワイルドカード枠が日本にも与えられることが決まった。神山は選考会を勝ち、日本車連は神山を推薦した。晴れてアトランタオリンピック出場を果たすことになった。しかしスプリント種目に出場したものの、一回戦、敗者復活戦ともに敗退に終わった。1998年のバンコク・アジア大会ではスプリント決勝で馬渕紀明を下し優勝した。だが、その後のドーピング検査で陽性反応が出てペナルティーとして短期の出場停止処分を受けた。それでも神山は再度オリンピックへの出場へ意欲を燃やし、2000年のシドニーオリンピックではこの大会から新たな種目として設けられることになったケイリンとチームスプリント（当時はオリンピックスプリントという名称）に出場。チームスプリントでは長塚智広、稲村成浩と組んで5位入賞を果たした。しかしケイリンではお家芸の意地をかけてメダル獲りに意欲を燃やすも敗者復活戦で1位入線するが斜行による妨害を取られて敗戦。失格の裁定が下された神山は涙を流した。神山はラインの駆け引きがなく純粋な走力勝負であるケイリンは競輪とは別種の競技であり、しかもダッシュ力、トップスピードにおいては欧米の選手のほうが力が一枚上であることを実感したという。何とか次の2004年のアテネオリンピックではメダルを獲りたいと思っていた神山は、2002年の釜山・2002年アジア競技大会においてチームスプリントに出場しアテネオリンピックへの夢を抱いていた。ところが、2004年のメルボルンの世界選にチームスプリントの一員として帯同したものの、バックアップメンバーの扱い（レギュラーのメンバーは長塚、伏見俊昭、永井清史で、同種目予選終了後に永井から井上昌己に変更）であり、出場機会さえなかったことから、とうとうアテネオリンピックへの出場を果たすことはできなかったことで、自転車競技への取り組みはアテネオリンピックへの挑戦で一区切りした。もっとも、アテネオリンピックのチームスプリントのメンバーに決まった長塚、伏見、井上の3人は、「神山さんがいないメンバーで果たしてアテネで戦っていけるかどうか不安」と一様に漏らしていた。アテネオリンピック直後に行われたオールスター競輪ではオリンピックメダル後の凱旋で注目を浴びていた伏見を下し、四年ぶりの特別競輪制覇を果たしている。