Silbermann var den eldre broren til den berømte saksiske orgelbyggeren Gottfried Silbermann. Orglene som brødrene Silbermann og Andreas' sønn Johann Andreas Silbermann bygde er kollektivt kjent som «Silbermann-orgler».