Drozdowski war der Sohn von "Stanisław Magdzicki", der sich am Krakauer Aufstand beteiligt hatte und unter dem Namen Jan Drozdowski in Krakau eine der ersten Klavierfabriken Polens gründete. Sein Sohn erhielt eine gründliche musikalische Ausbildung. Er studierte zunächst bei Kazimierz Hofman und Antoni Płachecki und von 1876 bis 1880 am Wiener Konservatorium Klavier bei Josef Dachs und Musiktheorie bei Anton Bruckner. Nach seiner Rückkehr nach Polen war er noch Schüler von Aleksander Michałowski.