Om morgenen den 28. juli 1904 begav Plehve seg med sin vogn fra politidepartementet ved Fontanka til Warszawa-banegården i St. Petersburg. På Ismailovskij prospekt sør i byen ble han, kusken og hestene drept av en bombe som ble kastet mot dem. En livvakt som stod på stigrettet ble alvårlig såret. En av attentatsmennene, studenten Jegor Sasonov, ble dømt til livsvarig tukthus. En annen medvirkende, Ivan Kaljajev, forøvet noen måneder senere også et attentat på storfyrst Sergej Aleksandrovitsj Romanov.