Lindeman var en dyktig organist. Han var blant annet kjent som en begavet improvisatør. Da et nytt orgel skulle innvies i Royal Albert Hall i London i 1874, ble han invitert til å spille der, sammen med blant andre Anton Bruckner og Camille Saint-Saëns.