Narodil se v Grodkowicích jako syn statkáře z malé polské šlechty. Jeho otec byl zavražděn 23. února 1846 v průběhu selského povstání, během tzv. haličské řeže, když se snažil zachránit svou manželku. Chlapec od mládí projevoval mimořádné hudební nadání. V Krakově začal hrát na klavír pod vedením Kazimierza Wojciechowského a Jana Germasze a studoval i skladbu u Franciszka Mireckého. Ve věku 20 let měl už Żeleński na svém kontě dva smyčcové kvartety, tria a orchestrální předehry, které osobně dirigoval na koncertě 29. července 1857.