. Aynı yıl Ekim ayında, birçok hizibe bölünmüş olmasına rağmen Sosyalist Parti büyük çoğunlukla 3. Enternasyonal'e katıldı. L'Ordine Nuovo grubu Lenin tarafından Bolşevikler'e en yakın grup olarak görülüyordu ve aşırı sol Amadeo Bordiga'nın anti-parlamenter programına karşı Lenin'in desteğini almıştı. Parti içi geçerli pek çok taktik arasında, Gramsci grubu temel olarak işçi konseyleri savunusuyla öne çıkıyordu. Bu konseyler, 1919 ve 1920 Torino büyük grevleri sırasında kendiliğinden ortaya çıkmışlardı. Gramsci için bu konseyler, üretimi örgütleme görevinin yönetimini sağlayabilecek uygun araçlardı. Lenin'in "Bütün İktidar Sovyetlere" siyasetiyle aynı konumda olduğuna inanmasına rağmen, Bordiga tarafından Georges Sorel ve Daniel DeLeon fikirleriyle etkilenmiş sendikalist bir eğilim olarak suçlandı. Torino işçilerinin 1920 ilkbaharında yenilgisiyle, Gramsci konseylerin savunusunda hemen hemen tek başına kalmıştı.

İşçi konseylerinin ulusal bir harekete dönüşümde başarısızlığı Gramsci'yi Leninist anlamda bir Komünist Parti'nin gerekliliğine inandırdı. L'Ordino Nuovo etrafındaki grup, İtalyan Sosyalist Partisi'nin merkezci önderliği aleyhinde söylemlerde bulundu ve Bordiga'nın "çekimser" hizbiyle ittifak yaptı. Bu gelişmelerin sonucunda, İtalyan Komünist Partisi 21 Ocak 1921'de Livorno kentinde kuruldu. Gramsci, Bordiga'nın yardımcısı oldu. Bordiga'nın disiplin vurgusu, merkeziyetçilik ve saflık ilkeleri parti programında Bordiga'nın liderliği yitirdiği 1924'e dek egemen oldu.

1922'de Gramsci yeni partinin bir temsilcisi olarak Rusya'ya gitti. Rusya'da daha sonra evleneceği viyolonselist Giulia Schucht ile tanıştı.

Rusya görevi İtalya'da Faşizm'in gelişine rastladı ve Gramsci, İKP önderliğinin isteklerinini aksine, faşizme karşı sol partilerin birleşik cephesini güçlendirme talimatlarıyla geri döndü. Böyle bir cephenin merkezinde İKP olacak ve bu vasıtayla Moskova bütün sol güçleri kontrol edecekti. Ancak diğerleri bu olası üstünlüğe karşı çıktılar. Sosyalistlerin İtalya'da belli bir geleneği vardı, ancak Komünist Parti oldukça genç bir partiydi ve oldukça radikal görünüyordu. Pek çok kişi, komünistlerce yönlendirilen bir koalisyonun siyasi tartışmalara uzak kalacağı ve bunun bir izolasyona yol açacağını savunuyordu.

1924'te Gramsci İKP başkanı oldu.Venedik seçimlerinde milletvekilli seçildi. Partinin resmi gazetesi L'Unita'yı (Birlik) örgütlemeye başladı. O sırada kendisi Roma'da yaşarken ailesi Moskova'da idi. Ocak 1926 Lyons Kongresi'nde Gramsci'nin İtalya'da demokrasiyi yeniden inşa için birleşik cephe çağrısı tezleri İKP tarafından kabul edildi.

1926'da Bolşevik parti içinde Stalin'in manevraları Gramsci'yi Komintern'e bir mektup yazmaya yöneltti. Bu mektupta Trotsky önderliğindeki muhalefeti eleştiriyor, ayrıca liderin bazı olası yanlışlıklarının da altını çiziyordu. Togliatti parti temsilcisi olarak Moskova'daydı, mektubu okudu ve göndermemeye karar verdi. Bu Gramsci ile Togliatti arasında hiçbir zaman çözüme kavuşmayacak zorlu bir çatışmaya neden oldu.

9 Kasım 1926'da Faşist hükümet Mussolini'nin yaşamına kasdeden bir saldırıyı gerekçe gösterek olağanüstü hal yasalarınu yürürlüğe koydu. Gramsci, milletvekili dokunulmazlığına rağmen tutuklandı ve ünlü Roma hapishanesi Regina Coeli'ye götürüldü. Davasında Gramsci'nin savcısı ünlü "Yirmi yıl bu beynin işlemesini durdurmalıyız" ifadesini kullandı. 5 yıl (uzak Ustica adasında) alıkonulma cezası aldı; ertesi yıl 20 yıl hapis cezasına (Bari yakınlarında, Turi'de) çarptırıldı. Yeni yaşam şartları sağlık problemlerini arttırdı, çok az yardım görebileceği tek kişilik bir hücreye kondu. 1932'de İtalya ile Sovyetler Birliği arasında yapılması planlanan Gramsci'yi de etkileyecek siyasi mahkûmların değişimi girişimi sonuçsuz kaldı. 1934'te sağlığı ağır şekilde kötüleşti ve Civitavecchia, Formia ve Roma hastanelerine gittikten sonra şartlı olarak özgür bırakıldı. Özgürlüğüne kavuştuktan kısa bir süre sonra 46 yaşında Roma'da öldü; orada Protestan Mezarlığı'na gömüldü.

Gramsci, özellikle Batı Marksizmi'nin temel düşünürlerinden birisi olarak, 20. yüzyılın en önemli Marksist kuramcılarından olarak kabul edilmektedir . Gramsci hapiste olduğu sürece 30'dan fazla defter ve toplam 3000 sayfa tarih ve analiz yazısı yazdı. Bu yazılar Hapishane Defterleri olarak adlandırıldı. Hapishane Defterleri, Gramsci'nin İtalya tarihini ve milliyetçiliğinin izlerini sürerken aynı zamanda Marksist kuram, eleştirel kuram (critical theory) ve kendi adıyla anılan eğitim kuramıyla ilgili bazı düşüncelerini de içerir. Ele aldığı temel konular:

Hegemonya daha önceden Lenin gibi Marksistlerce kullanılan demokratik bir devrimde işçi sınıfının önderliğini belirten bir kavramdı, fakat Gramsci tarafından Ortodoks Marksizm'in öngördüğü 'kaçınılmaz' sosyalist devrimin 20. yüzyıl başlarında niçin olmadığını açıklayan keskin bir analiz ile geliştirildi. Gramsci'ye göre hegemonya; eğitim, kilise, politik partiler, sendikalar, gibi rızanın kaynağını oluşturan "özel kurumlar"a özerklik alanı tanıyan, dayanıklı ve bağımsız sivil topluma dayanmaktadır

Kapitalizm, öyle görünüyordu ki, her zaman olduğundan bile güçlü durumdaydı. Kapitalizm Gramsci'ye göre salt şiddet, siyasi ve ekonomik zor yoluyla değil aynı zamanda ideolojik olarak burjuva değerlerinin herkesin 'ortak düşüncesi' haline geldiği egemen kültür yoluyla da yönetiyordu. Böylece bir uzlaşma kültürü gelişiyor ve işçi sınıfındaki kişiler kendi iyiliklerini burjuvazinin iyiliğiyle özdeşleştiriyor, karşı çıkmak bir yana statüko-mevcut durumun devamına yardımcı oluyorlardı.

İşçi sınıfının kendi öz kültürünü geliştirmeye gereksinimi vardı. Böylece burjuva değerlerinin toplum için 'doğal' ya da 'normal' değerleri temsil ettiği kanısı yıkılacak ve ezilen ve aydın sınıfları proletarya davasına çekecekti. Lenin'e göre kültür siyasi amaçlara 'yardımcı' idi, ancak Gramsci için iktidarın temeliydi ve ilk olarak kültürel egemenlik elde edilmeliydi. Gramsci'nin görüşüne göre, modern koşullarda kazanmak isteyen sınıf, entelektüel ve ahlaki önderliği ele almalı, değişik güçlerle ittifak ve uzlaşmalar gerçekleştirmek için kendi dar 'ekonomik-toplu' çıkarlarının ötesinde davranmalıydı. O, bu sosyal güçlerin birliğine Georges Sorel'den aldığı bir terimle 'tarihsel blok' dedi. Bu blok belli bir sosyal düzen için rızanın altyapısını oluşturur. Baskın sınıfın kurumlar, sosyal ilişkiler ve düşünceler bağı yoluyla egemenliğini (hegemonyasını) yeniden ve yeniden üretir. Gramsci, altyapı ilişkilerini sürdüren ve parçalayan bir üstyapının önemini vurgulayan bir kuram geliştirdi.

Gramsci Batı'da burjuva kültürel değerlerinin Hıristiyanlıkla bağı olduğunu belirtti, bu nedenle egemen kültüre karşı polemiklerinin çoğu dini norm ve değerlere ilişkindi. İnsanların bilinçlerindeki Roma Katolikliği gücü ve Kilisenin eğitilmişlerin dini ile daha az eğitilmişlerin arasında gittikçe büyüyen aşırı uçurumun giderilmesi için çabası onu etkilemişti. Rönesans hümanizmindeki dinin saf entelektüel eleştirisini Reformasyonun kitlelere yansıyan elementleriyle birleştirmenin Marksizmin görevi olduğuna inanıyordu. Gramsci'ye göre, Marksizm ancak halkın ruhani ihtiyaçlarını karşılarsa dinin yerini alabilecekti ve bunu başarmak için onların yaşadığı deneyimin ifadesi olarak dini tanımak zorundaydı.

Gramsci aydınların toplumdaki rolü sorununa düşüncesinde çok ağırlık verdi. Bütün insanlar aydındır, herkes entelektüel ve akılcı yeteneklere sahiptir, ancak herkes aydınların sosyal işlevini yapamaz, deyişi ünlüdür. Modern aydınların sadece konuşmacılar olmadıklarını, fakat eğitim ve medya gibi ideolojik aygıtlarla toplum inşasına ve egemenlik üretilmesine yardımcı olan yöneticiler ve düzenleyiciler olduğunu iddia etti. Daha da öte, (yanlış olarak) kendini toplumdan ayrı bir sınıf gibi gören 'geleneksel' aydınlar ile her sınıfın kendi safları arasından 'organik' olarak ürettiği düşünce grupları arasında ayrım yaptı. Böyle 'organik' aydınlar sadece sosyal hayatı bilimsel kurallara uygun tanımlamazlar, daha çok kitlelerin kendilerinin ifade edemediği duygular ve deneyimleri kültür dili yoluyla seslendirirler. İşçi sınıfı kültürü yaratma ihtiyacı Gramsci'nin işçi sınıfı aydınları geliştirecek bir tür eğitim çağrısıyla ilişkilidir. Bu aydınlar sadece Marksist ideolojiyi proletaryasız tanıtmakla kalmayacaklar, fakat daha çok kitleler içinde zaten var olan düşünsel etkinliğin mevcut durumu eleştirisini yaparak yenileyecekler de. Gramsci'nin bu amaçlarla eğitim sistemi ile ilgili düşünceleri, sonraki onyıllarda Brezilyalı Paulo Freire'nin kuramlaştırdığı ve çalıştığı eleştirel pedagoji (critical pedagogy) ve halk eğitimi (popular education) tasarımı ile örtüşmektedir. Bu nedenle, yetişkin ve halk eğitiminin partizanları Gramsci'yi günümüzde de önemli bir ses olarak görürler.

Gramsci'nin egemenlik (hegemonya) düşüncesi onun kapitalist devlet kavramıyla bağıntılıdır, onun zor artı rıza ile hükmettiğini öne sürer. Devlet dar hükümet anlamıyla anlaşılmamalıdır; bunun yerine, siyasi kurumlar ve yasal anayasal denetim arenası olan 'siyasi toplum' ile genelde 'özel' ya da 'devlet-dışında' bir alan olarak görülen 'sivil toplum' arasında bölümlendirir. İlki zorlama alemidir ve ikincisi ise razı olma (rıza). Bununla birlikte, bölünmenin sadece kavramsal olduğunu ve ikisinin gerçekte çoğu zaman çakıştığını vurgular. 
Gramsci modern kapitalizm altında, burjuvazi ekonomik denetimini, sivil toplum içindeki sendikaların ve kitlesel siyasi partilerin siyasi alanda belli taleplerinin karşılanmasına izin vererek sağlar. Böylelikle, burjuvazi, yakın ekonomik çıkarlarının ötesine geçerek ve egemenlik biçimlerinin değişimine olanak vererek, 'pasif devrim' işine girer. Gramsci bu hareketleri reformizm ve faşizm olarak konumlandırır, Frederic Taylor ve Henry Ford'un 'bilimsel yönetim' ve 'montaj bandı' gibi yöntemleri de bunun örnekleridir.

Machiavelli'den alıntılayarak, 'Modern Prens'in (devrimci parti) işçi sınıfının organik aydınlar yetiştirmeyi ve sivil toplum içinde alternatif egemenlik (hegemonya) sağlayacak kuvveti