bir müzik grubu kurdu. Adını da Türkiye'nin iki ucu olan Edirne ve Ardahan'dan esinlenerek Edirdahan koydu. Ancak grup 20 gün sonra Kurtalan Ekspres elemanlarının eski gruplarına dönmesiyle eleman değişikliğine uğradı. 1978'de Cem Karaca, Edirdahan ile kaydettiği ilk ve son teklisi Safinaz'ı yayınladı. Bu plak Türkiye'de daha önce hiç görülmemiş olan 18 dakikalık bir rock operaydı. Alt sınıftan Safinaz adlı bir kızın kötü yola düşmesini anlatıyordu. Teklinin diğer şarkıları da Ahmed Arif ve Nazım Hikmet şiirlerinin besteleriydi. Cem Karaca, 1979'da Londra'daki dünyaca ünlü Rainbow Arena'da konser verme başarısı gösterdi.

1979'da grup dağıldı, Cem Karaca da uzun yıllar sonra ilk kez yanında bir grup olmadan solo olarak çalışmaya başladı. Bu dönemde ayrıca Almanya'ya taşındı. Çoğu Nazım Hikmet şiirlerinin besteleri olan Hasret albümünü yayınladı. Mart 1980'de Sıkıyönetim Mahkemesi'nde Karaca'nın "1 Mayıs" plağı "komünizm progandası" nedeni ile yargılanmaya başladı. Bu davada şarkıcı Cem Karaca, şarkının bestekarı Sarper Özsan ve plak şirketi sahibi Ali Avaz da suçlanıyordu. Cem Karaca, bu dönemde Avrupa turnesine başlamıştı. Dava başladıktan kısa bir süre sonra da babası Mehmet Karaca'yı kaybetti. Cem Karaca, babasının cenaze törenine katılamadı.

12 Eylül darbesi sonrası Sıkıyönetim Mahkemesi tarafından Melike Demirağ, Selda Bağcan, Şanar Yurdatapan ve Sema Poyraz ile birlikte Cem Karaca da yurda çağrıldı. 13 Mart 1981'e kadar süre tanındı. Bonn'da yaşayan Cem Karaca, yurda dönmek için ek süre istedi. 15 Temmuz 1982'ye kadar Cem Karaca'nın süresi uzatıldı ancak Karaca, Türkiye'ye dönmeyeceğini belirtti ve süresi dolduktan sonra ise 6 Ocak 1983'te Yılmaz Güney ile aynı gün Türk vatandaşlığından çıkarıldı.

Cem Karaca, bir yandan da müzik hayatına devam etti. Almanya'daki müzisyen arkadaşı Fehiman Uğurdemir ile birlikte 1982'de Bekle Beni albümünü yayınladı. Bu albümdeki "Oğluma", "Alamanya Berbadı" ve "Bekle Beni" gibi şarkılar Karaca'nın ülkesine duyduğu özlemi göstermekteydi. Bu albüm Karaca'nın vatandaşlıktan çıkarıldığı için medyada yer alamamasından dolayı çok fazla bilinmedi. 1984'te ise bir şarkısı dışında tüm şarkıları Almanca olan Die Kanaken albümünü yayınladı. Bu albüm Alman oyun yazarları Henry Böseke ve Martin Burkert tarafından göçmen Türkler'in Almanya'da yaşadıkları zorlukları anlatmaktaydı. Ayrıca albüm bir tiyatro oyununa da çevrildi. Karaca, albüm yayınlandıktan sonra Alman televizyonlarında albümün adı olan Die Kanaken olarak sahne aldı ve albümü tanıttı.

1985'te Karaca, arkadaşı Mehmet Barı aracılığıyla Başbakan Turgut Özal ile görüşerek, ülkeye geri dönme isteğini bildirdi ve Münih'e gelen Özal ile konuştu. Özal'ın olumlu yanıt vermesi ile hukuki işlemler başlatıldı. Yıl sonunda vatandaşlıktan çıkarılmasına sebep olan davadan beraat etti. 1987'de de hakkında verilen gıyabi tutuklama kararı kaldırıldı. 29 Haziran 1987'de Cem Karaca, Türkiye'ye döndü. Aynı yıl Merhaba Gençler ve Her Zaman Genç Kalanlar albümünü çıkardı. Bu albüm o senenin en çok satan albümlerinden biri oldu. 1988'de bu albümü Töre takip etti. Bu albüm sonrası Cem Karaca, yasaklı olduğu TRT ekranlarına da çıkmaya başladı.

Cem Karaca, arkadaşı Uğur Dikmen ve Cahit Berkay ile müzikal ortaklık kurarak Yiyin Efendiler albümünü yayınladı. Bu albümdeki "Oh be" şarkısında, kendisini "dönek" diye adlandıranlara cevap olarak ""Ben döneksem döndüm diye memleketime / Döndüm baba döndüm işte oh be"" diyerek cevap verdi. 21 Temmuz 1990'da sözlerini kendi yazıp, bestesini Cahit Berkay'ın yaptığı Kahya Yahya şarkısı ile Altın Güvercin en iyi şarkı ödülünü kazandı. Bu dönemde Sosyaldemokrat Halkçı Parti için konserlere çıktı.

Karaca, 1992'de UNICEF için hazırlanan ve İbrahim Tatlıses, Ajda Pekkan, Muazzez Abacı, Leman Sam, Fatih Erkoç gibi ünlü isimler korosunun seslendirdiği "Sev Dünyayı" şarkısının sözlerini yazdı ve koroda da yer aldı. 22 Temmuz 1992'de annesi Toto Karaca hayatını kaybetti. Yılın sonlarına doğru Dikmen ve Berkay ile ikinci çalışması olan "Nerde Kalmıştık?" albümünü yayınladı. "Raptiye Rap Rap" ve "Islak Islak" besteleri ile büyük başarı yakaladı.

Bu albümden sonra Cem Karaca, bir süre müzikle aktif olarak ilgilenmedi. 1994'te TRT'de Raptiye adlı programı sundu. 1995'te ise Flash TV'de Cem Karaca Show'u, 1996'da aynı kanalda "Efendime Söyleyeyim" programını yaptı. 95'te bir sanatçı grubu ile Bosna-Hersek'e gidip, savaş sonrası zor durumda olan Bosnalılara destek verdi.

Sanatçının müziğe geri dönüşü 1997'nin sonunda vizyona giren Ağır Roman ile oldu. Filmin yapımcısı, eski Apaşlar gitaristi ve Karaca'nın dostu Mehmet Soyarslan'nın yazdığı, 1968'de Cem Karaca'ya ün getiren "Resimdeki Gözyaşları"nı, Karaca film için yeniden kaydetti. Filmin ana müziği olan parça, Karaca'yı tekrar müzik piyasasına soktu. Eski plak şirketi, izinsiz olarak "The Best of Cem Karaca" serisini piyasaya sürdü.

1999'da Türk rock müziğinin duayenleri olan Cahit Berkay, Engin Yörükoğlu, Ahmet Güvenç ve Uğur Dikmen'in desteğiyle 'Bindik Bir Alamete...' isimli albümünü çıkardı. 2000'de Cem Karaca'nın da rol aldığı Kahpe Bizans'ın müziklerinin bazılarını seslendirdi. Bu filmin de yapımcısı olan Soyarslan'ın yazıp Apaşlar zamanında Dede Korkut'tan esinlenip Sadık Bütünay ile kaydettiği ama yayınlamadığı şarkıları Cem Karaca seslendirdi. Bu eserlerden sonra ölümüne dek birkaç şiir albümünde konuk sanatçı oldu.

Şubat 2001'de Murat Töz, Barış Göker ve Cengiz Tuncer ile Cem Karaca Trio olarak sahne almaya başladı. Mayıs 2001'de ise Barış Manço'nun ölümü ile vokalistsiz kalan Kurtalan Ekspres ile beraber çalmaya başladı. Harbiye Açıkhava Tiyatrosu Konserleri'nde sahne aldılar. 2002'de Yol Arkadaşları adlı grubu kurup yine onlarla sahne aldı. Ölümünden önce kaydettiği son şarkılar ancak ölümünden kısa süre sonra yayınlandı. İlk önce "Hayvan Terli" teklisi yayınlandı. Mehmet Eryılmaz'ın bu şarkısına Karaca'nın bir bar programında bu şarkıyı söylerkenki görüntüleri ile klip çekildi. Mayıs 2005 tarihinde, ölümünden 10 gün önce (2004) Mahsun Kırmızıgül ile kaydettiği "Hayat Ne Garip?", Kırmızıgül'ün "Sarı Sarı" albümünde yayınlandı. Karaca ve Kırmızıgül'ün stüdyodaki görüntülerinden oluşan bir klip yayınlandı. Haziran 2005'te ise Murathan Mungan'ın sözlerini yazdığı şarkıların yeni yorumlarından oluşan "Söz Vermiş Şarkılar" albümünde Yeni Türkü'nün "Göç Yolları" eserini yorumladı.

2005 yılında Yavuz Bingöl, Edip Akbayram, Manga, Teoman, Deniz Seki, Volkan Konak, Haluk Levent, Suavi, Ayhan Yener, Tuğrul Arseven tarafından yorumlanan Cem Karaca şarkılarından oluşan Mutlaka Yavrum albümü yayınlandı. Bu albüm daha önce yayınlanmamış İngilizce bir Cem Karaca şarkısı da içeriyordu. Ölümünün 6. yılında Beyaz Show'da daha önce kaydedip yayınlamadığı "Karagözlüm" adlı şarkı ilk kez gün yüzüne çıkmıştır.
1961'de Hamlet'te oynarayak tiyatroya ilk adımını attı. 1964'te Münir Özkul'un oynadığı General Çöpçatan oyunu ilk büyük tiyatro çalışması oldu. 1965'te askerliği sırasında 
askeriyede Cahit Atay'ın Pusuda ve Aziz Nesin'in Toroslar Canavarı oyununu yönetti ve oynadı. Aynı dönem İstanbul Tiyatrosu'nda sergilenen "Anahtarı Bendedir" adlı oyunu Türkçeye çevirdi ve oynadı. Uzun bir süre tiyatroya ara veren ve Püsküllü Moruk oyununun müziklerini yapmak dışında tiyatroyla ilgilenmeyen Karaca, 1987'de Almanya'da çıkardığı Die Kanaken albümündeki şarkıların işlendiği Ab in den Orient-Express oyununun Kuzey Ren Westfalya Eyalet Tiyatrosu'nda oynanan "Die Kanaken" adlı versiyonunda annesi Toto Karaca ile beraber oynadı. Yine Almanya döneminde Münih Halk Tiyatrosu'nda Nâzım Hikmet'in Şeyh Bedrettin Destanı oyununu yönetti.
Cem Karaca, 1970'de ilk ve tek başrol filmi olan Kralların Öfkesi'nde oynadı. Yücel Uçanoğlu'nun yazıp yönettiği yerli western tarzı bu filmde Murat Soydan ile başrolü oynayan Cem Karaca, Camgöz adlı bir kovboyu canlandırdı. Ancak bu film çok başarılı olmadı. Uzun süre beyaz perdeden uzak duran Karaca, 1999'da Kahpe Bizans da Karaca Abdal adlı bir ozan rolünde rol aldı ve filmin müziklerinden bazılarını seslendirdi. Karaca, 1990'da "Bir Milyara Bir Çocuk" adlı Müjdat Gezen dizisinde rol aldı. Bunun dışında 2001'de "Yeni Hayat" adlı dizide onur konuğu olarak yer aldı. Aynı sene "Avcı" adlı dizide Dem Baba rolünü oynadı.

8 Şubat 2004 sabahında, solunum ve kalp yetmezliğine bağlı olarak ağır bir kalp krizi geçirdi. Uygulanan tüm müdahalelere rağmen kaldırıldığı Bakırköy Acıbadem Hastanesi'nde 59 yaşında hayata gözlerini yumdu. Hastane tarafından yapılan açıklamada Karaca'nın ölüm sebebi kalp ve solunum durması olarak belirtildi. 9 Şubat 2004'de ikindi vaktinde Üsküdar Seyyit Ahmet Deresi Camii'nde kılınan cenaze namazın ardından Karacaahmet Mezarlığı'nda babası ile aynı mezara defnedildi.

Cem Karaca ilk evliliğini 22 Aralık 1965 yılında Semra Özgür ile yaptı. Özgür, Karaca'nın annesi gibi bir tiyatro sanatçısıydı. Bu evlilik fazla uzun sürmedi. Karaca, 1968'in sonunda yine bir tiyatro sanatçısı olan Meriç Başaran ile bir ilişki yaşamaya başladı. Ekim 1968'de Karaca ikinci evliliğini Başaran ile yaptı. Bu evlilik de 2 yıl sürdü. Üçüncü evliliğini Feride Balkan ile 21 Ağustos 1972'de yaptı. 1976'da çiftin oğulları Emrah Karaca dünyaya geldi. Çift, Cem Karaca'nın Almanya'da zorunlu yaşama döneminde ayrıldı. 5 Temmuz 1993'te Cem Karaca, dördüncü evliliğini ilk eşi Semra Özgür ile yaptı. Cem Karaca'nın son evliliği ise İlkim Erkan ile oldu.

Karaca'nın ölümünden sonra Karaca'nın çocuğunun annesi Feride Balkan ve son eşi İlkim Erkan Karaca arasında sorunlar yaşandı. İlkim Karaca, Karaca'nın çocukluğunda geçirdiği bir kaza sonucu kısır olduğunu, bu yüzden Emrah Karaca'nın onun oğlu olmadığını iddia etti. Mahkeme kararı ile Cem Karaca'nın mezarı açılıp DNA örnekleri alındı. DNA testi sonucu Emrah'ın Cem Karaca'nın oğlu olduğu tespit edildi. Bu olaydan sonra Balkan ve Emrah Karaca, İlkim Karaca'ya açtıkları hakaret davasını kazandı. İlkim Karaca daha sonra Cem Karaca ve Barış Manço kardeştiler iddiası ile medyada yer buldu.


100'ün üzerinde plaket ve ödüllerden bazıl