Feliński studeerde wiskunde in Moskou en Parijs en werd in 1855 tot priester gewijd in Oekraïne. Hij stichtte in 1857 in Sint-Petersburg de franciscaanse "zustergemeenschap van de familie van Maria". In 1862 werd hij door paus Pius IX benoemd tot aartsbisschop van Warschau. In het kader van de tsaristische maatregelen tegen de januariopstand, werd hij in 1863 voor 20 jaar verbannen naar Jaroslavl. Hij bouwde er een rooms-katholieke parochiegemeenschap op en steunde andere bannelingen. Na onderhandelingen tussen het Russische Keizerrijk en de Heilige Stoel mocht hij Rusland verlaten. In 1893 deed hij afstand van het ambt van aartsbisschop en werd hij door paus Leo XIII benoemd tot titelvoerend bisschop van Tarsus. Hij bracht de laatste jaren van zijn leven door in Galicië.