1932年、サンクトペテルブルク生まれ。父は映画監督のフリードリッヒ・エルムレルである。 サンクトペテルブルク音楽院で指揮をボリス・ハイキンのクラスで学んだ。1952年にレニングラード・フィルハーモニー管弦楽団を指揮してデビューする。翌年、同じくサンクトペテルブルクでオペラ指揮者としてデビューしている。1956年からボリショイ劇場の常任指揮者に迎えられ、以降長年にわたり指揮を続けた。1998～2001年には同劇場の音楽監督と主任指揮者、美術監督を務めた。1964年からバレエの指揮もしている。1974年にロンドン劇場、1986年にロイヤル・オペラ・ハウスに出演した。1985年からはコヴェント・ガーデン王立歌劇場のバレエ指揮者も兼任し、1986年にはコヴェント・ガーデン王立歌劇場の日本公演に帯同して初来日し、《カルメン》を指揮。1989年にはボリショイ劇場と共に来日して《ボリス・ゴドゥノフ》を指揮した。1994年には、パリ・バスティーユ劇場に《ファウスト》を引っさげて登場し、ヨーロッパ各地で演奏活動を展開した。1998年にはボリショイ劇場に戻り、2000年からはソウル・フィルハーモニー管弦楽団の首席指揮者に就任。2002年4月にソウルでリハーサル中に倒れ、3日後に亡くなった。
パーソロンが日本で種牡馬として成功したため、1歳年上の全兄ミステリー、8歳年下の全弟ペール、10歳年下の全弟マイフラッシュも種牡馬として日本に輸入されたが、パーソロンほどの成功は収めなかった。ミステリーは菊花賞馬ノースガストの母の父として名を残している。ペールはサファイヤステークス2着馬のケージーカグラを送り出し、アブクマポーロの母の父でもある。
現役時代は14戦2勝でナショナルステークスとイボアハンデキャップに優勝したのみだが、ロイヤルウィップステークスなど2着が5回あり、アイリッシュダービーで6着、アイリッシュセントレジャーで4着になっている。合計で13,251ポンドの賞金を獲得した。引退後にシンボリ牧場の和田共弘とメジロ牧場の北野豊吉が共同購入し、1964年に種牡馬として日本に輸入された。産駒2世代目にメジロアサマを出し、その後もダービー馬のサクラショウリ、七冠馬シンボリルドルフ、二頭の桜花賞馬と四頭のオークス馬を輩出した。1971年と1976年には日本リーディングサイアーとなっている。シンボリ牧場と物部神社に銅像が建立されている。
札幌市を拠点とし、イラストレーター、絵本作家として活動している傍ら、自身で製作したオリジナルぬいぐるみキャラクターを生み出すフェルト作家としても活動している。JR北海道のICカード乗車券「Kitaca」のキャラクター「エゾモモンガ」や、2012年北海道デスティネーションキャンペーンキャラクター（現・北海道観光キャラクター）「キュンちゃん」などを手がけたことで知られる。ぬいぐるみキャラクターでは「しろくまくんシリーズ」や、北海道電力の「電化クマ家族」などがある。また、自身が手がけた絵本の読み聞かせイベントや、講座、講演会、ライブペインティングなどにも参加している他、「U型テレビ」や「つながるきたカフェ」（NHK札幌放送局）など、メディアへの出演も多数行っている。
建設は2011年9月8日に始まり、2012年4月16日に完成した。建設はアルペン・バウ・ドイチェランドAGが担当。アゼルバイジャン政府は600万マナトの建設費を出資するとした。最大23000名収容でき、VIPラウンジも設けている。ユーロビジョン終了後はスポーツやコンサート会場として利用される予定。2012 FIFA U-17女子ワールドカップを記念して9月から10月にかけてジェニファー・ロペス、リアーナ、シャキーラのライブがユニバーサルから発表された。2014年には欧州女子バレーチャンピオンズリーグのファイナルフォー、2015年にはヨーロッパ競技大会の会場として使用される予定。
阿仁町 (現在の北秋田市) で生まれ、父親の影響を受けてノルディック競技を始めた。ジュニア時代から頭角を現し、1999-2000シーズン後半よりノルディック複合・ワールドカップに参戦。2000-01シーズンは12月30日のリレハンメル大会で12位、2月のノルディックスキージュニア世界選手権では日本勢で初めて金メダルを獲得し、同月に開催されたノルディックスキー世界選手権にも初出場した。2002年2月にはソルトレークシティオリンピックにも出場し、2003年ユニバーシアードではノルディック複合個人、スプリント、団体の3種目で優勝した。2005-06シーズン頃より元々得意としていたクロスカントリーに加えて、ジャンプの実力が上昇しW杯での上位進出回数が増加した。1月21日のハラホフ大会で自己最高の4位、翌日も9位に入るとその後も2度目の出場となったトリノオリンピックを含めて安定して20位以内の成績を残した。翌2006-07シーズンに少し成績を落としたが、2007-08シーズンは1月26日のゼーフェルト大会4位など出場17戦中15戦で20位以内に入る安定した成績を残し、個人総合で自己最高の13位となった。2008-09シーズンも2度6位に入るなど前半戦より度々上位に進出。2月にリベレツで開催された世界選手権では個人戦ノーマルヒルで5位に入賞、そして湊祐介、加藤大平、渡部暁斗とともに出場した団体戦では前半ジャンプ5位で迎えた後半距離でアンカーを務め、3位につけていた残り700mでクロスカントリーに強いドイツのティノ・エデルマン、ノルウェーのマグヌス・モーアン両選手を追い抜き、ラストのスプリント勝負も制し、日本にとって1995年世界選手権以来14年ぶりとなる団体戦の金メダルを獲得、小林も距離に強い「新しい複合ニッポン」の象徴的存在となった。2009年3月30日、秋田県県民栄誉章受章。2009-10シーズン、1月16日のショーヌーヴ大会の5位から3戦連続で一桁順位を記録。2月に3度目の五輪出場となるバンクーバーオリンピックを迎えた。個人（ノーマルヒル）では前半ジャンプの12位から、後半の距離では終盤で一時トップに立つ健闘を見せ7位に入賞した。。2010-11シーズンもワールドカップ、世界選手権に出場した後、現役を引退した。引退後は地元秋田の秋田テレビで勤めている。