Izabela z Łoskowskich Chełmońska powiła syna w wieku 24 lat. O matce mówiło się, że była osobą o dużej kulturze, rozmiłowaną w sztuce i literaturze. Wnuczka wspominała ją jako "nieziemską istotę o słodyczy charakteru nie mającej granic". Ojciec malarza, właściciel folwarku Boczki i wójt gminny, był utalentowany muzycznie i malarsko: grał na skrzypcach oraz rysował szkice okolic Nieborowa i Teresina. Dziadek Wincenty Łoskowski był oficerem w armii napoleońskiej i m.in. brał udział w oblężeniu Saragossy. W Boczkach artysta mieszkał do wyjazdu do Warszawy, potem wielokrotnie wracał do swoich stron rodzinnych.