Herman word na Robbeneiland gestuur waar hy as klipkapper in die steengroewe werk. In 'n rotsstorting verloor hy sy linkerhand en linkeroog en vra om ontslaan te word uit die Kompanjie in Februarie 1792. Dit word op 27 Maart 1792 toegestaan.
Herman was ook die ontwerper en bouer van die Nieuwe Kerk, Kaapstad wat gesloop is en die Woutersen grafkelder by Groenpunt. Hermann was ook die argitek en bouer van die NG Kerk in George wat in 1828 ontwerp is en in 1842 voltooi is. Dié is op die tradisionele-Kaapse kruisvorm gebou met 'n rietdak en ronde endgewels aan die sy- en agtervleuels. Aan die voorkant hiervan toegevoeg is 'n redelike breë, blokvormige seksie waarvan die effens vooruitstekende middedeel 'n vervormde tempelfront is, geflankeer deur nisse en bekroon deur 'n sware agthoekige toring, staande op twee trapvormige agthoekige platvorms.
By die bou van verskeie ander geboue is hy betrokke as boumeester en soms as hersteller of ontwerper soos die goewerneurswoning in die Laan, die balkon van die Kat in die Kasteel, die vrye skool vir slawe, die registrasiekantoor vir slawe, die predikantswoning op Simonstad, die doeanekantoor in die Buitekant, die doeanekantoor op Port Alfred aan die Kowie, die regeringsgeboue in die distrik Albany wat hy herstel en die regeringsgebou (hooggeregshofgebou) in Kaapstad. Hy het moontlik ook aan die sierlike Rust en Vreugd in die Buitekant gewerk.
Die Duitse rococo-boustyl wat hy aan die Kaap toepas, kan in baie van Herman se geboue gesien word. Die NG Kerk op George wat vermoedelik volgens sy tekeninge in 1842 gebou is, toon met uitsondering van die rococo-gewels 'n klassieke styl. 'n Foto van sy "Hanoverhuis" in Kaapstad wat nou nie meer bestaan nie, toon 'n sterk neo-klassieke inslag, terwyl die Groote Kerk as 'n Grieks-Gotiese bouwerk beskou kan word. Benewens sy werk as stadsmesselaar wat na 1818 blykbaar die verhoogde status van 'n stadsbouer geniet, word hy in 1820 aangestel as inspekteur van stadsgeboue. In 1843 word hy die stadslandmeter van die pas gestigde Kaapstadse munisipaliteit.
Uit die aard van sy beroep verander hy dikwels van woonhuis. Teen die einde van 1794 woon hy in wyk 23 en in 1798 kon hy dit bekostig om sy eerste eerste huis, Pleinstraat no.28 te koop. In 1806 koop hy 'n huis in Hanoverstraat, 'n straatnaam wat waarskynlik aan hom te danke is). Toe woon hy weer in Roelandstraat no. 7 (1809 - 1829) en daarna tot 1832 op erf no. 9 in dieselfde straat. Vervolgens verhuis hy na 'n huis op "Primrose Hill" wat net agter die Kasteel was. In die jare veertig slyt hy sy laaste dae in die stadhuis (Burgerwaghuis) op die groentemarkplein.