Batteriveita fikk sitt navn i 1830 og er oppkalt etter General von Kroghs batteri som ble anlagt i Sanden rett øst for dagens Skansenbrua i 1807. Dette batteriet var en del av byens sjøforsvar og ble etablert under Napoleonskrigene, hvor Danmark-Norge var i allianse med Frankrike og hvor frykt for angrep av den engelske marine var overhengende. Et krutthus for dette batteriet ble oppført ved dagens Sandgata 55, som ligger mellom Batteriveita og Batterigata, hvor rester av krutthuset er bevart som en del av kjelleren til dette huset.