Porażka jego dotychczasowej działalności propagandowej skłoniła Żelabowa ku terrorystycznym środkom działalności antycarskiej. Wstąpił do organizacji Ziemla i Wola po udziale w kongresie narodników w Lipecku w 1879 roku i kongresie w Woroneżu w tym samym roku, a po rozłamie w tej organizacji znalazł się wśród założycieli Narodnej Woli i współautorów jej opartego na terroryzmie indywidualnym programu. Uczestniczył w przygotowywaniu nieudanych zamachów na Aleksandra II w jego pałacu w Petersburgu oraz na linii kolejowej pod Odessą oraz w pierwszej fazie przygotowań udanego ataku dokonanego nad Kanałem Gribojedowa w marcu 1881 roku. Został jednak aresztowany na kilka dni przed planowanym zamachem i nie wziął w nim bezpośredniego udziału. Mimo to domagał się, by osądzono go razem z samymi wykonawcami zamachu. Został skazany na karę śmierci i powieszony.