Zuber hadde vært tegnelærer for de kongelige barna i 1763, og i 1766 ble han kongelig bygningsinspektør. Han ble utnevnt til hoffbyggmester i 1781; i denne egenskapen har han oppført bibliotekbygningen mellom den søndre lønngangen på Christiansborg og Tøjhuset. I sin embetsgjerning kom Zuber i et delvis påtvungent motsetningsforhold til sin jevnaldrende konkurrent C.F. Harsdorff. Zuber kom opp i vanskeligheter, fikk flere bøter for forsømmelse av sine plikter som hoffbyggmester og ble til slutt avskjediget fra sitt embete i 1789.