Philippovichs Großvater Elias Filipović (Philippovich) wurde am 5. Juli 1781 in den erbländischen Adelstand mit dem Prädikat "von Philippsberg" erhoben. Im Jahr 1836 trat Joseph Philippovich von Philippsberg in den militärischen Dienst ein, absolvierte eine Ausbildung an der Pionierkorpsschule in Tulln und wurde 1839 Leutnant. Er leitete den Bau des k.u.k. Militärgeographisches Instituts in Wien und beschäftigte sich anschließend mit Kartografierungen. 1848 diente er als Major im Warasdiner Grenzregiment. Er zeichnete sich unter Joseph Jelačić von Bužim bei der Niederschlagung der ungarischen Revolution aus und wurde 1857 Oberst und Kommandeur des 5. Grenzregiments. 1859 wurde er zum Generalmajor und Brigadekommandeur befördert.