岡山県浅口郡乙島村（現・倉敷市玉島乙島）に生まれる。紡績会社の技師であった父親の転勤に伴い大阪市に転居。幼少より画才があり、1910年（明治43年）大阪の松原三五郎が主宰する天彩画塾に入門し洋画を学ぶ。1914年（大正3年）第8回文展に水彩画「みなとの曇り日」が入選する。わずか18歳での入選が話題となり天才少年画家として名声を得る。1919年（大正8年）京都市に移り竹内栖鳳の画塾・竹杖会に入門し日本画に転向する。同年に第1回帝展に｢南郷の八月｣が入選。この頃はエドヴァルド・ムンクに傾倒し1923年（大正12年）関東大震災の惨状を描いた洋画風の「災禍の跡」を帝展に出展するが落選。一旦は倉敷に帰郷し、しばらく寺に隠って画作の研究を行う。1926年（大正15年）京都市立絵画専門学校研究科（現・京都市立芸術大学）を卒業。1928年（昭和3年）第9回帝展にて｢雪の大阪｣が、1930年（昭和5年第11回帝展で｢烏城｣が、それぞれ特選となる。1936年（昭和11年）より1949年（昭和24年）まで京都市立絵画専門学校（現・京都市立芸術大学）助教授をつとめる。1953年（昭和28年）に画塾・青塔社を主宰する。1960年（昭和35年）「波」で日本芸術院賞を受賞。1976年（昭和51年）日本芸術院会員に選任される。1984年（昭和59年）文化功労者として表彰される。1986年（昭和61年）倉敷市名誉市民となる。1987年（昭和62年）文化勲章を受章する。翌1988年（昭和63年）急性心不全のため京都市にて死去、享年92。若年より歌川広重に傾倒した。法被姿で広重の足跡を辿り、東海道五十三次を3度も旅した。生涯、自然と旅を愛し全国を旅して回った。晩年は種田山頭火に傾倒し、山頭火の俳句をモチーフに画作を行い、山頭火の姿で旅をした。
球団を50万ドルのローンで購入したこととブロードウェイ・ショーの制作も行っていたことから資金集めに困窮し、球団は極度の財政難に陥った。このため1918年シーズン終了後から資金確保を目的に主力選手の放出が開始された。中でもベーブ・ルースは1919年に当時の年間最多本塁打記録となる29本塁打を記録したことで、前年に1万ドル（現在の金銭価値で約11万ドル）をもらっていながらその倍の2万ドル（現在の金銭価値で約22万ドル）を要求しており、極度の財政難にあったレッドソックスには重荷となっていた。その為、12万5千ドル（現在の金銭価値で約135万ドル）の金銭獲得と30万ドル（現在の金銭価値で約325万ドル）以上の負債の肩代わりを名目に、ヤンキースへと放出した。これには良きライバルとして互いの興行収入を上げようとの狙いもあったが、両チームはその後明暗がはっきりと分かれてしまった。ヤンキースは「ボルチモア・オリオールズ」(現存球団とは別)としての発足以来低迷が続いていたが、ルース移籍2年目の1921年に早くも初のリーグ優勝を果たすと、その2年後の1923年には初の世界一まで達成し、20世紀中に37回のリーグ優勝と26回のワールドシリーズ制覇を経験する 強豪球団へ変貌した。一方のレッドソックスは1918年までに6回のリーグ優勝と5回のワールドシリーズ制覇を経験していたが(1904年はニューヨーク・ジャイアンツの対戦拒否によりワールドシリーズ非開催)、1919年から15年連続負け越し、特に1925年から1930年にかけては6年連続最下位を記録する有様であった。1934年まで勝率5割に届かなかった。その後1946年に28年ぶりのリーグ優勝を果たすも、20世紀中はこの年を含め4度出場したワールドシリーズ全て3勝4敗で敗退し、ワールドシリーズ制覇は更に58年後（1918年から通算して86年後）の2004年まで待つこととなりメジャーリーグ史上3番目に長い低迷であった。フレイジーはニューヨークで行われる舞台作品に多く携わっており、最もよく知られた作品は『No, No, Nanette 』で、ルースのトレード費用でまかなわれたとされる。スポーツ記者のフレッド・リーブの記事において、ブロードウェイ・ミュージカルの費用のためにルース を売却したと暗喩し批判的に描いた。これが「バンビーノの呪い」の中心的要素となった。実際、フレイジーとアメリカンリーグ創立者で会長のバン・ジョンソンの間にあった長年のいさかいやフレイジーの経済問題も絡んでいる。フレイジーは、リーグで初めてジョンソン選任以外のオーナーであり、ジョンソンの介入を望んでいなかった。フレイジーがジョンソンの友人であるエド・バローを監督に起用したことで落ち着いたかに思われたが、アメリカが第一次世界大戦に参戦したことについて意見が合わず、フレイジーはジョンソンを声高に批判した。これに対しジョンソンはフレイジーをレッドソックス経営から外すべく大規模キャンペーンを開始した。1919年夏、投手カール・メイズが職場放棄をしたことからいさかいは大きくなった。ジョンソンはメイズに謹慎させたかったが、フレイジーは当時停滞していたヤンキースへ売却した。ジョンソンはヤンキースのオーナーのジェイコブ・ルパートとキャップ・ハストンにより良い選手を獲得できるよう約束したが叶えられなかった。メイズの動向はアメリカンリーグをヤンキース、レッドソックス、シカゴ・ホワイトソックス、そしてその他の5球団、通称「ロイヤル・ファイブ」に分割されるきっかけとなった。このような状況下、フレイジーは身動きが取れずついにルースを手放すことにした。ジョンソンの圧力の下、ロイヤル・ファイブはフレイジーの要求を拒否した。 ジョンソンは事実上ホワイトソックスまたはヤンキースとの契約に限った。ルースの獲得に、ホワイトソックスは6万ドルでジョー・ジャクソンとのトレードを希望したが、ヤンキースは前払い現金2万5千ドル、2万5千ドルの約束手形3枚、フェンウェイ・パークのローン30万ドルの肩代わりを提示した。ラニンが、1919年11月までに支払われるべきレッドソックスの売却金額の一部を使ってしまっていたこともあり、フレイジーにはもうヤンキースの要求を呑む以外になかった。1920年1月5日からルースはヤンキースの所属となった。