Il 10 marzo 1896 assume la carica di Ministro Guardasigilli nel Governo Rudinì, formatosi dopo le dimissioni del ministero Crispi a causa della sconfitta di Adua). È confermato anche nel rimpasto dopo la crisi dell'11 luglio 1896. Regge tale carica per circa quindici mesi sino alla morte, avvenuta il 15 agosto 1897 a causa di una grave forma tumorale. Il Presidente del Senato Domenico Farini ricorda, che, durante un colloquio privato svoltosi il 4 febbraio 1897, Umberto I ebbe a dirgli: «Ha visto Costa? È, molto giù, molto giù». Il 2 marzo successivo annota: «Mariotti mi assicura che il Guardasigilli Costa ha un male di vescica incurabile» e il 1º aprile: «Saracco [...] continua dicendo essere Costa un uomo condannato». Malgrado la malattia, negli ultimi giorni di giugno e i primi di luglio il Costa sostiene la complessa discussione del bilancio del suo Ministero. Ma, come si legge nella commemorazione tenutasi presso il Senato, la situazione peggiora: «[...] Di giorno in giorno apparivano sul suo volto emaciato i progressi della malattia; i medici gli raccomandavano il riposo; ma egli, sempre sereno, negava d'essere ammalato e si rifiutava a desistere dal lavoro. Nei primi giorni dell'estate gli giunge una improvvisa terribile notizia: la morte quasi istantanea di un suo figliuolo a Torino. Ed egli, padre infelicissimo, si concede appena ventiquattr'ore per accorrere colà e comporre nella fossa la salma del giovane diletto. Soltanto dopo finita la discussione del suo bilancio in Senato, acconsentì a ritirarsi colla famiglia nella quiete della campagna; ma era troppo tardi. Non era scorso un mese quando egli si sentì prossimo alla fine. Negli ultimi istanti inviò agli augusti Sovrani un telegramma in questi termini: