Han debuterte som forfatter i 1970 med diktsamlingen . I 1996 utgav Stubhaug biografien om Niels Henrik Abel. Den ble tildelt Brageprisen og er oversatt til flere språk som engelsk, tysk, fransk, japansk og kinesisk. I 2000 ble han tildelt Arthur Holmeslands pris for sakprosa, for boken .. Da han i 2004 ble utnevnt til statsstipendiat fra 2005 ble det begrunnet med, blant annet, at han hadde bidratt til å gi norsk matematikk og naturvitenskap et løft, nasjonalt og internasjonalt.