Od roku 1840 studoval na evangelickém gymnáziu v Modre, kde se seznámil s Vilko Šulekem. Ke slovenským dobrovolníkům se přidal, když přišli na Myjavu. Slovenská národní rada ho ustanovila komisařem a 25. září 1848 ho jako zmocněnce vyslala do obcí Kostolné, Vaďovce, Hrušové, Horní a Dolní Bzince a Lubina. Jeho úkolem bylo získat ozbrojenou podporu na boj, zprostředkovat rozkazy Slovenské národní rady a zásobovat povstalce na Brezové. Dne 27. září 1848 odešli hurbanisté z Brezové pod Bradlom směrem na Starou Turou, kde byli nejvíce ohrožováni maďarským gardisty. Maďaři Starou Turou zapálili, když spatřili blížící se vojsko. V Lubině se Holuby postavil do čela ozbrojeného odporu místních obyvatel proti maďarským vojákům. Garda, přicházející ze Staré Turé, narazila v Lubině na větší odpor. Proto začali střílet do obyvatel, některé z nich chytili a podpálili několik budov. Obec poslala vyslance vedené Karolem Holubym a notářem Erdelským. Ti šli naproti maďarskému vojsku až k Horním Bzincům. Tam je Maďaři zajali a odvedli. Garda vyhnala obyvatele Lubiny násilím pryč a podpálila jejich vesnici. Holubyho věznili spolu se 40 osobami v Hlohovci. Statutární soud odsoudil Karla Jana Holubyho jako velitele slovenského povstání a buřiče k trestu smrti oběšením. Holuby nic nezapřel a vzal na sebe vinu za více lidí. Jeho poprava se konala 26. října 1848 na stejném místě, kde o šest dní dříve skonal Vilko Šulek. Den před oběšením napsal Holuby báseň o divadle celé popravy. Když se dozvěděl o Šulkově hrdinské smrti, uvedl: „Co pláčete lidé, toto je moje svatba. Já s radostí kráčím do náruče své nevěsty.“ Pohřbili ho tři dny po popravě spolu se Šulkem.