1916年、美濃赤坂生まれ。発起人となり十六銀行赤坂支店の前身である興産会社を設立した矢橋友吉の孫。矢橋厚一郎の子。愛知県第一中学校（現・愛知県立旭丘高等学校）卒業。愛知一中56回生。金属盤を調整する事によっ て誤差をなくして正確な時刻を確認出来る様になっており、月日を合わせる事でほぼ正確な時間が分かる、「矢橋式日時計」を考案する。日時計ながら5分刻みという世界最高の精度を誇る。古代中国の火時計と並べて展示する近江神宮、岐阜天文台、愛知県立旭丘高等学校校舎正面、高知城の丸の内公園など、全国に200箇所程設置されている。1983年 「立体解析幾何学の知識を駆使し誤差が1分以内という日時計を製作し、作品は各地の公共施設に多数設置される」という功績で、CBC クラブ文化賞 (くちなし章) を受賞している。1988年、母校愛知県立旭丘高等学校同窓会・「鯱光会」、矢橋徳太郎の「特に顕著な業績」を称え、顕彰。
東京都生まれの千葉県育ちで、血液型はA型。早稲田大学卒業後の1968年に、アナウンサーとして毎日放送に入社した。同期入社のアナウンサーに、角淳一や青木和雄（現在はいずれもフリーアナウンサー）などがいる。フジテレビの元アナウンサー・松倉悦郎（現在は僧侶）とは、生年月日と出身大学が同じで、松倉とフジテレビでも同期だった逸見政孝や、アナウンサーとして福島テレビに入社した原國雄とも大学の同級生であった。毎日放送への入社当初から1980年代の前半までは、MBSラジオの『毎日放送日曜（土曜）競馬』で実況を務めていた。また、テレビ（MBSテレビ）・ラジオを問わず報道番組や生ワイド番組なども担当した。阪神・淡路大震災の発生（1995年）時点では、アナウンサーとしての活動を続けながら、アナウンサー室アナウンス第一部長を兼務。1997年に広報室へ異動した後は、番組審議会事務局長を経て、2006年1月24日に定年で退職した。なお、毎日放送在職中の2004年4月から2007年頃までは、社団法人デジタルラジオ推進協会大阪事務所事務局長を歴任。地上デジタル音声放送のPRを目的としたMBSラジオのスポットCMにも自ら出演していた。また、PHP研究所の研修用ビデオ「報・連・相」にも登場していた。
1878年に当時のシンシナティ・レッズからデビュー。2年目の1879年に77試合に出場し.348の打率を残す。翌1880年にホワイトストッキングスに移籍し、1881年と1882年にリーグ最多の二塁打を記録するなど目だった活躍をし始める。1884年からは4年連続で120得点以上を記録、同年リーグの首位打者となる。1886年には自身最高となる155得点、打率.388の高いアベレージを残し、2度目のリーグ首位打者となった。ホワイトストッキングス在籍時、ケリーは「ヒットエンドラン」の攻撃戦術や、「フックスライド（滑りながら、折りたたんだ側の足の先でベースを引っ掛けて止まる走塁法）」等の走塁技術、内野ゴロの際に捕手が一塁をカバーリングする守備戦術、投手と捕手の間のサインを使うことなど、いろいろな戦術や技術を次々と編み出した。当時ホワイトストッキングスの監督をしていたキャップ・アンソンも、彼の賢さを賞賛していたという。ホワイトストッキングスは、この時期リーグを通算5度制覇、またアンソン自身何度も打点王になっており、その頃はケリーが出塁・盗塁してかき回し、アンソンが打って走者を還すという「得点パターン」だったことが推察できる。様々なゲーム戦術を考案する傍ら、抜け目のなさも一流で、審判が外野に気をとられている間に、相手走者のベルトホルダーを掴んで走塁を邪魔したり、自分の走塁の際は二塁ベースをショートカットして一塁から三塁へ走っていたという。ファンサービスなどにもつとめ（「サインを書く」ことを広めたのは彼だと言われている）、社交的で人気選手となったケリーは、1887年に当時としては破格の1万ドルの金銭トレードでボストン・ビーンイーターズに移籍する。同年は84盗塁、120得点をマーク。盗塁はボストン移籍の前年の1886年から5年続けて50盗塁以上を記録していた（それ以前の盗塁数の記録は不明）。ボストンに移籍した翌年の1888年には、『Play Ball』というタイトルの野球の自叙伝を執筆し発表。またニューヨークにサロンを開くなど、フィールドの外での活躍もするようになっていた。ケリーは普段から煌びやかな服を着ていて、いつでもペットの猿を肩に乗せ、日本人のお供を従えていたこともあった。当時ボストンのアイリッシュ・サロンの殆どには、スライディングするケリーの絵が掛けられていたそうである。ケリーは飲酒の常習者でもあり、「ゲーム中に酒を飲んだりするのか?」と聞かれた時、「それはゲームの長さによる」と答えたという。ある試合ではボックス席のファンと一緒に酒を飲み始めてしまい、試合開始が遅れたこともあった。1890年には新設されたプレイヤーズ・リーグで監督兼任となり、同年リーグ制覇を遂げるが、プレイヤーズ・リーグは1年で解散。彼はこのリーグを制した最初で最後の監督となった。1891年にはアメリカン・アソシエーションでシンシナティ・ポーカーズを率いたが、この頃ケリー自身はすでに監督としてチームを統率する気はなかったようで、シーズン途中でチームから放出されてしまった。1893年にジャイアンツに在籍したのを最後に選手を引退し、翌年の11月に、肺炎のため36歳で死去。担架で病院に運ばれる際、運んでいた人がバランスを崩し、彼は担架からすべり落ちてしまう。その時「これが人生最後のスライディングだな」と言ったという。1945年、ベテランズ委員会によりアメリカ野球殿堂入り選手に選出された。