Nach der Besetzung Warschaus durch die Wehrmacht zu Beginn des Zweiten Weltkriegs wurde das Serbia von 1939 bis 1944 zusammen mit dem benachbarten Pawiak von der Gestapo genutzt. Am 1. Oktober 1943 wurde SS-Rottenführer Ernst Wefels, ein Aufseher des Serbia-Gefängnisses, von einer Einheit der Heimatarmee erschossen. Am 21. August 1944 wurde das Gebäude von deutschen Einheiten gesprengt. Nach dem Krieg wurde ein Teil des ehemaligen Serbia-Gefängnisgeländes zum Bau der nach Julian Balthasar Marchlewski benannten "Ulica Marchlewskiego" (die heutige "Aleja Jana Pawła II") genutzt. 1965 wurde hier (am Straßenrand) auch ein Serbia-Gedenkstein gesetzt. Auf dem Rest des Geländes entstand eine Grünfläche. Im Laufe seines Bestehens wurden im Serbia rund 20.000 Frauen gefangen gehalten.