À l'est du portique des Danaïdes, un second portique donne accès à la bibliothèque qui est divisée en deux grands halls, chacun prolongé par une abside. L'un est consacré aux ouvrages des auteurs latins et l'autre aux ouvrages des auteurs grecs. Les murs sont décorés de colonnes entre lesquelles ont été placés des portraits d'écrivains célèbres. La bibliothèque est détruite lors de l'incendie de 64 et restaurée sous Domitien. Le Sénat s'y réunit parfois.