Særlig kjent ble Robsahm i forbindelse med Hattemakerfeiden i Hønefoss, der arbeidere gjorde opprør mot dårlige arbeidsforhold i 1851. Robsahm prøvde å slå ned opprøret, men ble overmannet av folkemengden som holdt ham hengende opp-ned utenfor Hønefoss-broen. Situasjonen må ha vært både skremmende og ydmykende for lensmannen.