José Luis se casó en 1956 con la también actriz Concepción Muñoz y tuvieron tres hijos, la actriz Adriana Ozores (1959) y los gemelos, Mariano y Pelayo (1961), los cuales se dedican también al mundo del cine.