Kong Josef I var gift med Mariana Vitoria av Borbón, prinsesse av Spania, og hadde fire døtre. Selv om han hadde et lykkelig familieliv (kongen elsket sine døtre og hadde fornøyelse med at leke med dem og ta dem på turer i naturen), hadde Josef I en favorittelskerinne: Teresa Leonor, som var gift med Luis Bernardo, Távorafamiliens arving.