Det var Jacobsen selv som valgte navnet på museet etter inspirasjon fra Ludwig Is Glyptothek i München, samt Vilhelm Dahlerup som var arkitekt for oppdraget. Det nye museet ble åpnet 1. mai 1897. Fra starten av inkluderte det bare Jacobsens moderne samling med franske og danske verk fra det 19. århundre.