Den tid som ikke måtte brukes til embedspliktene, viet Viète med stor fremgang til matematiske studier og forskninger, særlig innen algebra og ligningsteori, et felt hvis grunnlegger av han på en måte kan kalles. Han forbedret vesentlig den algebraiske betegnelser ved konsekvent å bruke bokstaver også for å markere de kjente størrelsene i en ligning, og ved å innføre mer passende symboler for potens i stedet for de eldre usystematiske tegnene. Han brukte nemlig store bokstaver (versaler) for alle forekommende størrelser, merket de kjente med konsonantene «B, C, D» og så videre, og se ukjente med vokalene «A, E, I» og så videre Han betegnet de forskjellige potensene av med et ceterea; i numeriske ligninger beholdt han imidlertid de eldre tegnene , og så videre.