Skolen ble grunnlagt av Ludvig Mathias Lindeman (1812–87) og hans sønn Peter Brynie Lindeman (1858–1930). Peter Lindeman overtok ledelsen av skolen da faren døde i 1887. Peters sønn Trygve Lindeman (1896–1979) studerte musikk i Stockholm, ble lærer ved skolen fra 1921, og dens leder fra 1930. Da Trygve Lindeman ble pensjonist på 1960-tallet, ble undervisningen overført til stiftelsen Lindemans legat, og konservatoriet ble fra 1969 til 1973 drevet i samarbeid mellom stiftelsen og myndighetene.