福岡県（朝倉郡甘木）出身。黒田藩士尾野実治の長男として生れる。1888年（明治21年）7月、陸軍士官学校（旧10期）を卒業し、歩兵少尉に任官、歩兵第14連隊小隊長に就任した。1896年（明治29年）3月、陸軍大学校（10期）を首席で卒業した。日清戦争出征のため、陸大を一時中退し戦後に復校している。参謀本部員、ドイツ駐在、中部都督部参謀、大本営参謀などを歴任。日露戦争では、満州軍参謀兼大山巌元帥副官として出征し、さらに満州軍総兵站監部参謀となった。参謀本部員兼大山元帥副官、陸軍省軍務局歩兵課長、ドイツ大使館付武官、歩兵第37連隊長、中清派遣隊司令官を経て、1912年（明治45年）3月、陸軍少将に進級し、歩兵第8旅団長、参謀本部第1部長、同総務部長を歴任。1916年（大正5年）8月、陸軍中将となり、第10師団長、第15師団長、教育総監部本部長、陸軍次官、兼航空部長を歴任。1922年（大正11年）5月、陸軍大将となり、関東軍司令官、軍事参議官を勤め、1939年（昭和14年）5月に予備役に編入。のち、大日本相撲協会会長、内閣顧問を勤めた。
ベストセラー『ノストラダムスの大予言』シリーズの著者である五島勉は、シリーズ最終巻で第二ペテロ書の第3章3節から12節を引用し、これが聖書に描かれた「世界破滅へのリアルな警告」の「恐怖の頂点」であると紹介した。これに対して聖書学者の浅見定雄は聖書の曲解であると批判した。まず、浅見が指摘したのは、五島の不適切な引用の仕方である。五島はあたかも忠実な引用であるかのように、省略を示すしるしを一切記載せずに3節から12節を引用しているが、実際には12節の「極力、きよく信心深い行いをしていなければならない」（口語訳）にあたる箇所を省いている。しかも、13節以下も略すことで、信心深い生活への勧めという本来のニュアンスが読み取れないようになっているのである。また、五島はこれを聖書の約3分の1にわたる世界破滅への警告の例として紹介したが、浅見は、五島が引用した第二ペテロ書のくだりは、同文書の約4000字のうちの100字余りに過ぎず、他の文書の登場箇所とあわせても3分の1などということはないと、その歪曲の仕方を批判した。
オハイオ州バーンズヴィルでChristiana (Edgerton)とDavid Grayの間に生まれる。家族はクエーカー教徒であり、農場で育てられた。数年をオーバリン大学で過ごし、そこで電気デバイスの実験を行った。卒業はしなかったが、そこで電気と科学を教え、理系の学部のために実験装置を作成した。オーバリン大学にいた1862年にDelia Minerva Shepardと出会い結婚した。1865年、電信線の変化する絶縁に自動的に適合する自動調整電信リレーを発明した。1867年、この発明に対して初の特許を取得した。1869年、グレイとパートナーのEnos M. Bartonはオハイオ州クリーブランドでGray & Barton Co.を設立し、巨大な会社であるウエスタンユニオンに電信機器を供給した。配電事業は後に分離され、独立会社であるGraybar Electric Company, Inc.に組織された。Bartonは新製品の検査と試験のためにウエスタンユニオンに雇われた。1870年、Gray & Barton Co.の資金がウエスタンユニオン電信会社の長であるAnson Stager将軍により手配された。StagerはGray & Barton Co.の業務担当となり、取締役会には残った。会社はハイランドパーク近くへ移った。その後グレイは電信業界に利益をもたらすかもしれない発明に集中するため、チーフエンジニアとしての管理職を辞めた。グレイの発明と特許の費用は、陶歯を作り大金を稼いだフィラデルフィアの歯科医Dr. Samuel S. Whiteによって賄われていた。Whiteはグレイが電話などの有望で競合する発明ではなく、莫大な利益が約束されている音響電信 ()に集中することを望んでいた。Whiteは1876年にグレイの電話に対する関心を向け直す決定をした。1870年、ホテルやエレベーター用の針アナンシエーターを開発した。また、タイプライターのキーボードを持ち紙テープにメッセージを印刷するマイクプリンターを開発した。1872年、Vanderbiltsとジョン・モルガンから資金援助を受けたウエスタンユニオンは、Gray and Barton Co.の3分の1を買収し、名前をウェスタン・エレクトリック・マニュファクチャリング・カンパニー・オブ・シカゴに変更した。グレイはウェスタン・エレクトリックで発明を続けた。1874年、退職し独立して研究開発を行った。各トーンを分かれた電信キーで制御するマルチトーン送信機で構成される高調波電信の特許を申請した。1874年5月と6月にニューヨークとワシントンD.C.でこの発明のデモンストレーションを個人的に行った。イリノイ州ハイランドパークの長老派教会の創立者であった。1874年12月29日に教会でミュージカルトーン（楽音）を送信するための発明の最初の実演を行い、新聞の発表によると「電信線を介してなじみのあるメロディ」を送信した。これは、2オクターブのピアノキーボードで操作される単音発振器である振動電磁回路を使用した最初期の電気楽器の1つであった。この「ミュージックテレグラフ」はその振動が電磁石により生成される鋼のリードを使用して電信線で送信する。また、後継のモデルでは磁場中の振動板から構成される単純なスピーカーを作り、受信側で発振器の音が大きく聞こえるようにした。1900年、水中信号デバイスに取り組んだ。死後の1901年には発明がオーバリン大学に与えられた。その数年後、水中信号デバイスの発明者として認められた。1875年7月27日、"Electric Telegraph for Transmitting Musical Tones"（楽音を送信するための電信）（音響電信）のアメリカ合衆国特許第166,095号を取得した。