Владислав Желенський походив від шляхетського польського роду Желенських (пол. "Żeleńskich") герба Цьолек, що оселилися 1680 року в маєтку Ґродковіце біля Кракова. Батько, Маркіян Желенський (1804—1846), захоплювався музикою, грав на фортепіано, писав власні композиції. Він брав участь у Листопадовому повстанні й 1833 року одружився з Камілою Руссоцькою, матір′ю майбутнього композитора. У подружжя народилось п′ятеро дітей, Владислав — друга дитина. 23 лютого 1846 року під час Галицького повстання на родинний маєток Желенських було скоєно озброєний напад селян, будинок пограбували, а батька вбили. Мати з дітьми змушена була переїхати до Кракова.