Området har sitt navn etter Holtet gård, som lå like vest for dagens senter. Gårdens våningshus er bygget i nybarokk/jugendstil, og står i Holtveien 9. Huset ble fra 1924 brukt som direktørbolig for Ekebergbanen, og brukes i dag som eldresenter/grendehus.