Naukę rozpoczął w 1812 r. w szkole elementarnej w Zarębach Kościelnych. Szkołę średnią ukończył u pijarów. W 1828 ukończył studia na wydziale filologicznym Uniwersytetu Warszawskiego i podjął pracę jako nauczyciel i inspektor szkolny, w latach 1832–1833 nauczyciel gimnazjum w Kielcach. Walczył też w powstaniu listopadowym, jako artylerzysta (w tym w bitwie pod Iganiami), dostał się do niewoli rosyjskiej pod Chmielnikiem. Po powstaniu uniknął represji i wrócił do zawodu. Od 1851 roku był dyrektorem gimnazjum wojewódzkiego w Lublinie i inicjatorem budowy nowego budynku tej szkoły (jesień 1859 roku; obecnie jedna z siedzib Wydziału Pedagogiki i Psychologii UMCS, przy ul. Narutowicza). Pasjonował się naukami przyrodniczymi, zgromadził bibliotekę szkolną liczącą dziesięć tysięcy pozycji, szeroko udostępnianą mieszczanom. Został przedwcześnie emerytowany w 1862 roku, gdyż nie tłumił rewolucyjnego wrzenia wśród wychowanków. Pod koniec życia wrócili w okolice Kielc. W 1870 roku zamieszkał w Rykoszynie, gdzie cieszył się wysokim zaufaniem społecznym, został wybrany na wójta w gminie Piekoszów, był też sędzią gminnym w Promniku. W 1879 roku zakupił dwa gospodarstwa w Radlinie, gdzie mieszkał z żoną w modrzewiowym dworku, po którym pozostała jedynie studnia. Nie mogąc pogodzić się ze śmiercią ukochanej żony Salomei Skłodowskiej w 1882, przeprowadza się z posiadłości w Radlinie do Zawieprzyc na Lubelszczyźnie i tam spędził ostatni okres swojego życia. Zamieszkał w majątku stryjecznego brata, Ksawerego Skłodowskiego. Chorował na zapalenie płuc. Zmarł w Zawieprzycach 21 sierpnia 1882. Uroczystości pogrzebowe odbyły się 25 sierpnia w kościele parafialnym w Kijanach. Mszę świętą celebrował ks. Bogucki. Józef Skłodowski został pochowany w rodzinnym grobowcu na cmentarzu parafialnym w Kijanach.