જોકે, ૨૦૧૩માં જ્યારે આસારામને રેપ કેસમાં જેલભેગો કરાયો ત્યારે જ દિગ્વિજયે પોતે આસારામના સંપર્કમાં હતા તેમજ સીએમ તરીકે આસારામને આશ્રમ બનાવવા જમીન આપી હોવાનો એકરાર કર્યો હતો.