Nede i byen lå byens reperbane og området rundt som ble kalt Banehaven, og navnet har sin opprinnelse herfra. Ved byens grunnleggelse tilhørte vestre del av Baneheia Grim gård, østre del Eg gård. I dag er vestre del en del av bydelen Grim mens østre del hører til Kvadraturen/Eg.