અજુભાઈની દેસાઈગીરી અંગ્રેજોએ જપ્ત કરીને અંગ્રેજોના વિરોધી તરીકે તેમને સહપરિવાર ખેડાની જેલમાં નજરકેદ રાખેલા ત્યારે ૧૮૧૯માં તેમને ત્યાં જન્મેલ પુત્ર તે વિહારીદાસ.