Navnet skriver seg fra Basilikaen San Silvestro i Capite, som ble grunnlagt av pave Paul I, som bodde i nærområdet. I høymiddelalderen ble stedet omtalt som , som betyr «ved Pauls hus». Klosteret ved siden av kirken har også fungert som postkontor.