Luftvägarna kan liknas vid ett träd, där luftstrupen är stammen och resten av luftvägarna motsvaras av grenar och kvistar. I KOL skadas de minsta luftvägarna, längst ut i lungträdet, så att deras elasticitet och spänst försämras. Små luftvägar som tappat sin spänst faller lättare ihop när lungan töms på luft vid utandning. Med många små luftvägar igentäppta och sammanfallna utan förmåga att vidga sig vid utandning blir det svårt att få ut luften ur lungorna.
Den vanligaste anledningen till KOL är cigarettrök, men även luftföroreningar har betydelse. I låginkomstländer är inandning av rök från vedeldning och matlagning över öppen eld en vanlig orsak till KOL.
Vid KOL bildas också slem i luftvägarna, som försvårar andningen ytterligare och gör luftvägarna mer mottagliga för infektioner. Längst ut i lungträdet sitter luftbubblor som kallas alveoler. På utsidan av alveolerna ligger blodkärl med blod som tar upp syremolekylerna som vandrar genom alveolernas och blodkärlens väggar. I KOL förstörs alveolernas väggar så att den totala kontaktytan mot blodkärlen minskar. Därför minskar syresättningen av blodet i KOL.
I sällsynta fall kan KOL uppstå på grund av att du saknar ämnet alfa-1-antitrypsin, som skyddar lungvävnaden från att brytas ner av enzymer som attackerar bakterier. Då kan KOL utvecklas utan att du rökt, ofta redan i 40-årsåldern.