Kraszewski urodził się w Warszawie w ziemiańskiej rodzinie Jana i Zofii z Malskich. Rodzice mieszkali na Grodzieńszczyźnie w swoim majątku Dołhe koło Prużany. Rodzina pieczętowała się herbem Jastrzębiec, którego praprzodkom rodów herbowych poświęcił później powieść "Boleszczyce". Matka szukała w Warszawie schronienia w obawie przed wojną francusko-rosyjską. Oboje rodzice pojawiali się w późniejszej twórczości Kraszewskiego jako wzorce postaci powieściowych. Ojciec, Jan Kraszewski (1788–1864), chorąży powiatu prużańskiego, został przedstawiony w roli seniora rodziny w "Powieści bez tytułu" (1855). Zofię Kraszewską (1791–1859) syn sportretował m.in. w "Pamiętnikach nieznajomego" (1846). Józef Ignacy był najstarszy z pięciorga rodzeństwa; najmłodszy brat Kajetan (1827–1896) także zajął się literaturą, był autorem opowiadań i powieści.