Józef Kalinowski urodził się 1 września 1835 roku w Wilnie i został ochrzczony 9 września w kościele parafialnym św. Jana. Był synem Andrzeja Kalinowskiego (1805–1878), nauczyciela gimnazjalnego, oraz Józefy z Połońskich. Wywodził się z drobnej szlachty pieczętującej się herbem Kalinowa I. Matka zmarła kilka dni po jego narodzinach; jego ojciec ożenił się z jej siostrą Wiktorią i to właśnie ona zajmowała się wychowywaniem dziecka. Zmarła po kilku latach małżeństwa i wówczas Andrzej Kalinowski ożenił się po raz trzeci z Zofią z Puttkammerów, córką Maryli Wereszczakówny, charakteryzującą się głęboką pobożnością. Józef Kalinowski miał jednego rodzonego brata i kilkoro przyrodniego rodzeństwa. Wychowywaniem dzieci zajęła się krewna Połońskich, Klementyna Szaniawska. Majątek rodziny – wsie Kalinowice i Kalinówka – został skonfiskowany po klęsce Napoleona w Rosji.