Protože josefovská pevnost sloužila také jako válečný lazaret a zajatecký tábor, byly zde pohřbeno 1148 francouzských zajatých vojáků z bitvy národů u Lipska (1813) nebo roku 1849 italští vojáci. Z roku 1866 je zde 6 pomníků z Prusko-rakouské války se jmény důstojníků zemřelých ve vojenské nemocnici a dalších 13 padlých a neznámo kde pohřbených. I po zrušení pevnosti roku 1888 byl hřbitov využíván k pohřbívání vojáků, protože v Josefově zůstala mnohonárodnostní posádka. Za 1. světové války byl hřbitov rozšířen severovýchodním směrem a sloužil jako pohřebiště zemřelým vězněným válečným zajatcům z Ruska, Srbska či Itálie.