ગોવર્ધનરામની ઊઘડતી જતી જ્વલંત કારકિર્દીની નિયતિને જાણે ઈર્ષ્યા આવતી હોય તેમ ઇ. સ. ૧૮૭૪ ના વર્ષમાં દુ:ખો અને વિટંબણાઓએ તેમની પર ઘા પર ઘા કરવા માંડ્યા.