I 1879 åpnet en jødisk avdeling (offisielt , «israelittisk avdeling») i vestre del av gravlunden. På grunn av plassmangel ble den utvidet i perioden fra 1916 til 1928. Under det nasjonalsosialistiske styret ble den jødiske seremonihallen sprengt og en rekke graver skjendet. Den opprinnelige avdelingen blir kalt «den gamle jødiske gravlunden», hvor blant annet Arthur Schnitzler, , og Victor Frankl hviler. I den nye avdelingen ligger blant annet s grav. Bortsett fra katolske hvilesteder, som er overlegent dominerende i antall, utgjør de jødiske den største andelen graver i Wiener Zentralfriedhof.