Дитячі роки Ядвіга провела, головним чином, у Варшаві, де з 1921 по 1922 роки жила в Бельведерському палаці, а з 1923 по 1926 роки на віллі в Сулеювеці. Після травневого перевороту 1926 року Пілсудські знову переїхали в Бельведер і жили там до смерті Юзефа в 1935 році, після чого Ядвіга разом з сестрою і матір'ю брала участь в церемонії похорону серця батька в склепі у Вільно.