Iskolái elvégzése után Hild József építészhez került, akinek a vezetése alatt az esztergomi bazilika építkezésénél mint előmunkás dolgozott. Innen Bécsbe ment és a szépművészeti akadémia hallgatója lett. Az akadémia akkori nagy hírű igazgatója, Nobili gróf nagyon megkedvelte az önálló felfogású, szép ízlésű fiatal magyart és mindenáron Bécsben akarta marasztalni, de Weber csak haza vágyódott, itthon akarván tehetségét és tanulmányait érvényesíteni. 1846-ban kezdett Pesten mint önálló építész működni, de csakhamar a rajzeszközt a fegyverrel kellett felcserélnie. 1848-ban beállott mint közhonvéd a Zrinyi-zászlóaljba és a szabadságharc lezajlása után, hogy a besoroztatástól megmeneküljön, hosszú ideig bujdosni volt kénytelen. 1851-ben végre megnyugodhatott és ekkor kiváló tehetsége, rendkívüli szorgalma és becsületessége révén az ország több előkelő családjának lett építészévé. Az ország különböző részeiben több kastélyt, templomot épített vagy alakított át, amely működése 1867-ig tartott és ezen évtől kezdve főleg Budapesten épített. 1872-ben nagyobb tanulmányutat tett Olaszországban, de már előbb a hatvanas évek végén tevékeny részt vett a magyar mérnök- és építészegyesület megalapításában, amely egyesületnek egyik alapítója és haláláig választmányi tagja volt. 1873-ban, miután Budapest főváros bizottsági tagjává választották, kiváló tevékenységet fejtett ki úgy itt, mint a fővárosi közmunkák tanácsában a főváros rendezése körül. 1875-től 1885-ig ő vezette az összes magánépítkezési ügyeket. Az 1873. évi párizsi világkiállításon terveivel és a már végrehajtott építkezéseit feltüntető rajzaival kiváló elismerést aratott és a becsületrend lovagjává nevezték ki. 1881-ben Trefort Ágoston felkérésére átvette a vallás- és közoktatásügyi minisztérium építészeti osztályának vezetését és ezen működési körében rendkívüli munkásságot fejtett ki, amelynek elismeréséül a vaskoronarendet nyerte el.