Gw mau tau 1970–1981 dari James Caan

Pada tahun 1971, Caan mendapatkan lebih banyak pujian, karena perannya sebagai seorang pemain sepak bola yang sekarat, Brian Piccolo, dalam film televisi berjudul Brian's Song, yang kemudian dirilis secara teatrikal.

Tahun berikutnya, Coppola memilihnya untuk berperan sebagai Sonny Corleone di film The Godfather. Awalnya, Caan yang akan berperan sebagai Michael Corleone (adik Sonny). Namun, baik Coppola dan Caan menuntut peran ini dimainkan oleh Al Pacino, sehingga Caan bisa bermain sebagai Sonny. Meskipun aktor lain sudah dikontrak untuk bermain sebagai Sonny, namun, studio bersikeras bahwa Caan yang harus bermain, sehingga ia tetap ada di dalam produksi film tersebut.

Caan dinominasikan untuk kategori Aktor Pendukung Terbaik Academy Award atas penampilannya di dalam film tersebut, ia bersaing dengan rekan-rekannya di dalam film, seperti Robert Duvall dan Pacino. Caan diidentikan erat dengan perannya sebagai Sonny selama bertahun-tahun sesudahnya. "Mereka memanggil saya sebagai anggota mafia. Saya memenangkan Italian of the Year dua kali di New York, dan saya bukanlah orang Italia.... Saya ditolak di sebuah country club sekali. Oh yeah, terdapat seorang pria yang duduk di depan saya, dan ia mengatakan, 'Tidak, tidak, dia seorang mafia. Dia anggota mafia.' Saya pikir, Apa? Apakah kau sudah gila?"

Dari tahun 1971 hingga 1982, Caan muncul di banyak film, memainkan berbagai peran. Film-filmnya termasuk T.R. Baskin, Cinderella Liberty, Freebie and the Bean, The Godfather Part II, Rollerball, Funny Lady, Harry and Walter Go to New York, A Bridge Too Far, Comes A Horseman, dan film autobiografi Neil Simon, Chapter Two.

Pada tahun 1980, Caan menyutradarai film Hide in Plain Sight, sebuah film tentang seorang ayah yang mencari anaknya, yang hilang dalam Program Perlindungan Saksi. Meskipun mendapat pujian kritis, tetapi film ini tidak begitu laku di publik.

Tahun berikutnya, Caan muncul di dalam sebuah neo-noir berjudul Thief, yang disutradarai oleh Michael Mann. Meskipun film tersebut kurang sukses pada saat itu, namun penampilan Caan secara luas dipuji oleh para kritikus dan penonton. Caan selalu memuji naskah dan penyutradaraannya Mann, Thief adalah film yang paling ia banggakan.

Caan menolak serangkaian peran di film-film yang terbukti membawa keberhasilan bagi para aktor pemerannya, di antaranya film The French Connection, One Flew Over the Cuckoo's Nest, Close Encounters of the Third Kind, Kramer vs. Kramer, Apocalypse Now, Blade Runner, Love Story dan Superman.