ત્યારબાદ તેમણે દીનદયાળ ઉપાધ્યાય સમિતિની રચના કરી હતી અને મોદીની વારંવાર આલોચના કરતા હતા.