Han var født men latiniserte navnet sitt, slik det var vanlig blant humanistene på den tiden og tok dermed navnet . Av hans motto (), som han for første gang brukte i 1570, sees hans beundring for arven fra antikken. Lipsius' far Gillis var en borger i byen Brussel. Opprinnelig bodde han i nærheten av Hoogstraat og Kapellekerk, men da han arvet et hus nær sognekirken i Overijse etter sine foreldre flyttet han og konen Elisabeth Durieu dit. I dette huset ble sønnen Joost født, og der bodde familien frem til huset brant ned i 1548. Da Gillis ble rentemester for Overijse, ikke lenge etter brannen, lot han bygge et hus av sten for seg og familien.