Édesapja Zuber Imre táblabíró volt, aki Fejér és Bihar vármegyékben volt birtokos. Nemesi címerlevelet József nagyapja, Sándor kapott 1823-ban. Zuber József a gimnáziumot szülővárosában, majd bölcsésztanulmányait Győrött végezte. Ezt követően Pesten tanult jogot, majd 1844-ben ügyvédi diplomát szerzett. Köztisztviselői pályáját Fejérben kezdte, ahol még diplomája megszerzésének évében tiszteletbeli aljegyzővé választották meg. Később ugyanitt aljegyző lett. Az 1848–49-es eseményekben is részt vett, a közlekedési miniszter, Csány László titkára volt. Katonai rangját tekintve főhadnagy volt, amikor 1849-ben feladták Komáromot, ekkor amnesztiát kapott. 1860-ban és később 1867-ben ismét a Fejér vármegyei Bicskei járás főszolgabírájává, 1869-ben pedig a vármegye alispánjává tették meg. 1871-ben, amikor Pécs várost törvényhatósági joggal ruházták fel, Zuber lett a város első főispánja, és ezen tisztségével egyidőben egyúttal Székesfehérvár főispánja is lett. Ettől kezdve felváltva lakott Pécsett és Székesfehérváron. 1874-ben Ferenc József felmentette pozíciójából, majd következő évtől már Komárom vármegye élén volt, ahol egészen 1898-ig meg is maradt. 1883-ban az alsó-csallóközi ármentesítő társulat kormánybiztosaként is dolgozott. Komáromi kinevezése okán hivatalból tagja volt a Főrendiháznak 1885-ig, 1892-ben pedig kinevezték a Főrendiház tagjának.