Caan begynte sin skuespillerkarriere innen TV-bransjen, i TV-serier som og . Hans første betydelige filmrolle var som skurk i filmen fra 1964. I 1967 spilte Caan i med John Wayne. I 1971 fikk han rollen som Sonny Corleone i Francis Ford Coppolas , som også hjalp Al Pacinos karriere. Caan ble nominert for en Oscar for den rollen. I 2003 fikk han rollen som Ed Deline i TV-serien .