曽祖父母がノルウェーからの移民という、ノルウェー系カナダ人。マウンテンバイクレースからレースキャリアをスタートさせた。2004年、USポスタルサービスと契約を結んでプロ転向。本格的にロードレースへのキャリアをスタートさせた。2008年、ガーミン・チポートレ（現在の キャノンデール・プロサイクリング・チーム）に移籍。2010年、自国・カナダで行われた第1回のグランプリ・シクリスト・ド・モンレアルでは初代優勝者の座を狙い果敢なレースを行ったが3位。だが、ベストカナディアン賞と敢闘賞を獲得した。同じく、カナダで行われた第1回グランプリ・シクリスト・ド・ケベックは4位。2013年10月30日、マウンテンバイクレース選手だった2003年にエリスロポエチンを使用したことを認めた。2016年シーズン限りでの現役引退を発表。
中国・四国地方のAMラジオ局8局が週替わりで地域にちなんだテーマに沿って番組を制作（各回のサブタイトルは「○○発」で統一。○○には原則としてエリアの県名が入る）、これを全局にネットする形で生放送する。各局の単独制作番組をネットする形（リクエスト・メッセージの送り先も各制作局宛）となっている。また、出演者も不定である。制作スケジュールについては、各局の編成の関係で持ち回りのローテーションは一定ではなく、必ずしも各局が8週おきに制作を行っているわけではない（年末年始編成にあたる12月末 - 1月初旬が土日に該当する場合は休止になる。）。当初はナイターオフシーズンの番組（10月から翌年3月まで放送、4月から9月まで休止）として始まったが、2010年からは通年放送されている。これは、2009年度をもって、JRNナイターの週末の定時放送が廃止になり、制作参加局全てで年度前期の日曜ナイターの定時放送自体を廃止したことによるものである。
日本国著作権法によりリンクの引用が不可能であるが、NHK INFORMATION「放送番組編成計画」を各自Web検索エンジンで参照すればすべて見つかる。参照先のpdfファイルの閲覧、印刷及び複写は著作権法の範囲内で自由である。
2002年頃までは早朝（6 - 7時台）の放送を基本とし、再放送は0時以降の深夜や午後の15時台に放送された。しかし視聴者のライフスタイルの変化などを理由に、23時台又はそれに続く時間帯を本放送とし、早朝や正午前後を再放送とするようになった。また英語以外（イタリア語とアラビア語は除く）の言語は、1990年以前（アンニョンハシムニカ・ハングル講座は2008年以前）はラジオと同じく「…語講座」というタイトルだった。かつての講座はシルビア・ヘデニックやハンス・ヨアヒム・クナウプなどの研究者が頻繁に出現していた(クナウプは現在も現役である)。テレビ講座では、生徒役などにタレントを起用する番組が多い。2003年には「ゴガク系」と称し、生徒役の女性8人の同名ユニット「ゴガク系」(土屋アンナ、長澤奈央、清水ゆみ、市川実和子、三津谷葉子、池澤春菜、金田美香、加藤夏希)によるテーマソング「バージョンアップ!ゴガク系」や、その年の生徒・講師・アシスタント等出演者全員によるオリジナルドラマが作られ放送されるなど、大々的なキャンペーンが行なわれた。基本的には通年講座だが、2004年以降は初心者の興味喚起のきっかけ作りに3か月から6か月単位で進められることも多い。主に基礎部分が前期の再放送で、文化コーナーだけが新作である。ドラマ部分のスキットはテレビ番組上はもちろんテキストでも全ての文について文法・単語の解説がなされないので、タレント出演でのとっつきやすさとは裏腹に初心者向きの構成ではない。テレビのロシア語会話やアラビア語会話は半年だけ新作で、あとは再放送、およそ4年ごとに新作番組を制作する。2008年度以降は、テレビの中国語とハングル（以上は1年コース）を除いて、後期は再放送する。
1980年代にサラ・ジェシカ・パーカーとニューヨークで7年間同棲していたが、1991年に破局。原因はダウニーの薬物依存にあり、当時のことを「サラに別れを告げられて辛かった」と述懐している。その後は24年にわたり絶縁状態にあったが、2014年にサラの自宅で再会を果たし「言いたいことを全て言えた」と和解に至ったことを公表した。1980年代後期にはマリサ・トメイとつきあっていた時期がある。『1969』（1988年）で共演したキーファー・サザーランドとはルームメイトだった。近年サザーランドが『ジミー・キンメル・ライブ!』において、「1980年代にロサンゼルスで3年間同居していた」と明かしている。1992年5月にモデルのデボラ・ファルコナーと結婚、1993年9月に長男インディオ・ファルコナーが誕生する。しかし1996年に別居を始め、2004年4月26日に正式に離婚した。2003年に映画プロデューサーのスーザン・レヴィンと婚約、2005年8月27日に結婚。2012年2月7日に、スーザンとの第1子となる男児が誕生。エクストン・エリアス・ダウニーと名付けられた。2014年6月29日に、長男インディオがコカイン所持により逮捕。ダウニーは「残念ながら薬物依存には遺伝的要素があり、息子はそれを受け継いだのだろう。家族みんなで結束し、彼をサポートする覚悟を決めている」と声明を発表した。2014年9月22日に、母エルシー・フォードが死去。彼女からの1本の電話が、薬物問題から抜け出すきっかけになったことを明かした。自身のFacebookにおいて「母親のいる人は自分の母親が完璧な人でなくても、電話してあげて。そしてそれでも愛していると伝えてほしい。」と記している。2014年11月4日に、スーザンとの第2子となる女児が誕生。アブリ・ロエル・ダウニーと名付けられた。