Hijo de don Blas Clavigero (oriundo de España, de un poblado cercano a Valladolid) y de doña María Isabel Echegaray (criolla, de ascendencia vasca), fue Francisco Xavier el tercero de once hermanos.