Silbermann var eldste sønn av orgelbyggeren Andreas Silbermann, som var virksom i Alsace-området og nevø av Gottfried Silbermann, som bygde orgler i Sachsen. Begge brødrene til Silbermann, Johann Daniel og Johann Heinrich, var orgelbyggere.