Veita er fra middelalderen og den østligste delen var tidligere en del av , som senere fikk navnet Krambuveita. Den vestlige delen av veita ble breddeutvidet etter bybrannen i 1841 og går nå under navnet Thomas Angells gate. Casperveita har fått sitt navn etter handelsmann og embetsmann Caspar Christoffersen Schøller (1582–1661), som eide en bygård og hage ved dagens Kjøpmannsgata 38 helt øst i Casperveita.