ニューヨーク州ロズリンで生まれる。1909年よりニューヨーク・モーション・ピクチャー・コーポレーションでアシスタント・カメラマンとして働き始める。19歳の時にパテに入り、1914年の連続活劇『The Perils of Pauline』で撮影監督を務めた。1910年代末から1920年代にはパラマウント映画、1932年からはフォックス・フィルム・コーポレーションで働いた。アカデミー撮影賞には7回ノミネートされ、『わが谷は緑なりき』、『聖処女』、『アンナとシャム王』で受賞を果たしている。1951年に引退し、その後は全米撮影監督協会の会長を務めた。1970年にカリフォルニア州ハリウッドで亡くなる。ハリウッド・メモリアル・パーク・セメタリーに埋葬された。
グールドは1892年12月2日に結核で死に、ニューヨーク市ブロンクス区のウッドローン墓地に埋葬された。その資産は控えめに見積もっても課税対象額で7,200万ドルはあった。1870年代から慈善事業に寄付していたものの、全財産をその家族に遺した。その死の時、グールドはニューヨーク州ロクスベリーの改革派教会、現在はジェイ・グールド記念改革派教会の再建の後援者だった。その家族廟はアイルランドのフランシス・オハラ（1830年 - 1900年）が設計した。グールドの廟には外部からそれと分かる表示は無い。グールドの生きた時代およびその後の1世紀、グールドは泥棒男爵と呼ばれる19世紀アメリカの実業家の中でも最も無節操な者としての評判が固まっていた。グールドは何度もその競争相手に自分が負けたと信じさせ、その後に法律や契約上の抜け道を生じさせて、事態を完全に反転させ自分の利益に繋げた。株式操作やインサイダー取引（当時は合法だったが顰蹙をかった）で資本を蓄積することや敵対的乗っ取りの実行あるいは防衛に罪の意識を感じなかった。その結果、当時の実業家はグールドを信用せず、彼がその事業に入ってくるとしばしば侮蔑の心を表した。それでもジョン・ロックフェラーはこれまで会った者の中でも最もスキルの高い実業家としてグールドの名前を挙げた。ニューヨーク市の新聞は伝記作家が事実だとして渡したグールドに関する多くの噂を掲載した。例えば、グールドが革なめし業での取引でその共同経営者チャールズ・ループを自殺に追い遣ったというようなことである。実際のループは、今なら精神科医が双極性障害の兆候と診断する躁と鬱の兆しがあり、その家族は事業の取引ではなくこの病気がループの死に関わったことを知っていた。これら伝記作家は、グールドが事業から金を引き出し、事業を改善することには興味の無い寄生虫のような者としてグールドを描いた。グールドはその名前や商才、さらには大きな鼻の故にしばしばユダヤ人ではないかと疑われ、反ユダヤ主義の風刺漫画に描かれた。しかし、グールドは長老派教会員として生まれており、米国聖公会員と結婚した。モール・クラインやエドワード・ルネハンのような極く最近の伝記作家は、一次資料に多くの注意を払ってグールドの経歴を最精査した。彼等は以前の資料では作り事が事実をしばしば圧倒していると結論づけた。
石切川の水源をなす山中にあった。特殊なボタン（牡丹）を産するといい、そのボタンが咲くときは遠方からこれを認めることができ、落花が渓流を流れて来るという。ボタンは文献によってその花の色は異なり、また、7年、10年、また60年毎に咲くともいう。この牡丹については悲恋の伝説が残っている。昔、村に迷いこんだ若者と、村の娘が恋に落ちた。が、村には里人以外と婚姻してはならないという掟があり、悲嘆した二人は大きな牡丹に変じたのだという。また最後の住人であった藤原忠教は若い頃、この巨大牡丹を見たと証言しているが、現地住民の間では一種のシャクナゲを誤認したのであろうといわれている。住民は京都から世を避けて隠れ住んだ、藤原左衛門佐という者の子孫であるといい、全員が藤原姓であったが、これは山村の神人の家に例が多い。最後の住人であった藤原忠教が死去した後は、廃村となっている。京丸という地名は京人が住むからであるという。「掛川志」には、遠江奥山郷について「御料の地であつて、三年毎に上番をした、仕丁一人ありこれを京夫丸といふ」とあるので、一説に奥山郷に隣接する京丸は、京夫丸の転訛であるという。貴人が隠棲した地であり、それは平家の残党であるとか、後醍醐天皇、あるいは宗良親王であるとかいい、応永年間の「浪合記」その他の記述からは、遠江、三河などの山地に伝わる尹良親王と関係があるという。里おさの屋敷の結構、阿弥陀堂に伝わる親鸞上人筆と称される画像、葬式に僧侶がおらず阿弥陀の画像を導師とすること、などから仙境の地であるとされた。葬式に阿弥陀の画像を導師とするのは、周智郡内の山村、三河、飛騨などでも行なわれた。柳里恭「雲萍雑志」には、浜松から「十五里ほど山に入れば、遠江と信濃の国のさかひなる川そひの地に、京丸と呼ぶところあり、その地は他より人の行きかふべきところにもあらず、国の境に、藤の蔓もて長さ五六十間もあらんとおもふほどの桟をかけたり、その地は家わづかに四五軒ありて、農の業はすれども、常の食は米は聊かも食はで、稗にあづきをまじえて粮とす」とある。西村白烏「煙霞綺談」には、ボタンについて「険阻なる山のはらに大木二本あり、遠く見渡すところ、一本は凡そ四囲、一本は二囲ほどにて、初夏に花を発く、其色白く径尺ばかりに見ゆる、外に類すべきものなく、牡丹なりしといへり、古しへ内裏の跡にて、其時の花壇なりと土俗いひ伝へり」とある。文献としては、「遠江風土記伝」、「秉穂録」、「煙霞奇談」、「遠山奇談」、「東海道名所図会」、「遠山著聞集」、曲亭馬琴の「山牡丹」など諸書に言及、記述があるが、そのほとんどは伝聞である。