Narodil se v prominentní vojenské rodině, která v roce 1785 dostala přídavek "von Philippsberg", což se vztahuje na osadu Filipovići v Lice. Vstoupil do rakouské armády v roce 1836 a stal se majorem v roce 1848. Ve funkci zástupce náčelníka štábu Prvního armádního sboru bána Josipa Jelačiće potlačoval v letech 1848–1949 revoluci. V roce 1857 se stal plukovníkem a velitelem 5. pohraničního pluku v roce. Bojoval v bitvě u Solferina v roce 1859 a v prusko–rakouské válce v roce 1866. V jednu chvíli byl velitelem vídeňské divize.V roce 1859 se stal generálmajorem a bojoval s 6. sborem v Itálii, za což byl odměněn dědičným titulem barona. V letech 1865 až 1869 byl guvernérem Dalmácie a v roce 1866 bojoval v Čechách s 2. armádním sborem. Byl čestným majitelem 35. pěšího pluku v Plzni (pětatřicátníků). Filipović byl potom velitelem 1. pěší divize ve Vídni a v roce 1874 se stal velitelem armádního sboru na Moravě, se sídlem v Brně. Po pěti měsících byl převelen do Prahy na místo sborového velitele Čech, v Brně ho zastoupil jeho bratr generál Franjo Filipović (1820 – 1903). V lednu 1874 byl Josip Filipovič jmenován polním zbrojmistrem. V červnu 1874 se stal velitelem armády v Čechách a tuto pozici zastával až do své smrti. V roce 1878 velel vojenské operaci, která měla za úkol obsadit Bosnu a Hercegovinu. Dne 19. srpna 1878 obsadil Sarajevo a převzal velení nově založené 2. armády. V roce 1880 se vrátil do Vídně a v roce 1882 do Prahy. V prosinci 1882 se stal velitelem 8. armádního sboru se sídlem v Praze.