Юзеф Игнацы был старшим из пяти детей. Один из его братьев, Каэтан, также стал писателем, второй, Люциан — художником и фотографом. Родовым гнездом Юзефа Игнация было отцовское имение Долгое вблизи Пружан, где впервые началось его увлечение культурой и литературой. Построенный после войны деревянный господский дом был скромным, с небольшим садом. Сразу за домом начиналось болото с трясиной, в которой тонул скот, а незаметная из-за болота межа с соседями была постоянным предметом раздоров во время сенокоса.