Urodził się w zamożnej rodzinie ziemiańskiej, w majątku Kłonówek koło Radomia. Jego ojcem był Teodor Mirecki, wychowanek rosyjskiego korpusu kadetów i oficer armii carskiej, który służbę wojskową odbywał w głębi Rosji, głównie w Saratowie i był rosyjskim lojalistą. Sprawy majątkowo-spadkowe spowodowały jego powrót do Kongresówki. Po sprzedaży rodzinnego majątku Chechły, ożenił się i osiadł w nabytych wspólnie z żoną dobrach Kłonów i Kłonówek. Matka, Franciszka z Gogolewskich, wdowa po hrabim Niesiołowskim, wychowana w głębokim kulcie tradycji powstania styczniowego 1863 roku, wywarła dominujący wpływ na patriotyczne wychowanie syna. W dzieciństwie Józefa dom Mireckich należał do zamożnych. W 1902 Mireccy byli jednak zmuszeni sprzedać majątki na pokrycie długów i odtąd utrzymywali się z zakupionego w Warszawie sklepu tytoniowego.