Elisenberg var en historisk videreføring av den skolen som het Vestheim Pikeskole og senere Vestheim privatskole, samt av det tidligere Frøken Rolls Pigeinstitut. Denne skolen ble overtatt av Vestheim i 1907 og solgt til private da kommunen overtok resten av Vestheim i 1918. Skolen ble så drevet videre som aksjeselskap, frem til den i 1958 ble overtatt av kommunen. Skolen ble da videreført under navnet Elisenberg frem til 1969.