Nach dem Militärdienst gründete er mit Gidi Oron und Jaakow Noy eine Gruppe, die sich zunächst „The Three Fat Men“, dann "Lo ichpat lahem" („They don’t care“) nannte. Während des Jom-Kippur-Krieges tourte er mit Leonard Cohen, der sein Lied "Lover Lover Lover" für gemeinsame Auftritte mit Caspi arrangierte, durch einige israelische Militärbasen. Seit den 1970er Jahren arbeitet er mit zahlreichen israelischen Künstlern zusammen, darunter Ehud Manor, Shlomo Gronich, Jehudit Ravitz, Shalom Hanoch und Riki Gal. Der Song "Emor Shalom", den Matti Caspi und Ehud Manor für das Frauentrio Chocolate Menta Mastik schrieben, erreichte am Eurovision Songfestival 1976 in Den Haag den sechsten Platz.