પરંતુ ધીરે ધીરે આસારામની લોકપ્રિયતા ઘટવા માંડી જ્યારે બાળકોની હત્યા, બળાત્કાર અને અન્ય ગેરકાયદે પ્રવૃત્તિઓના આરોપ તેના પર લાગ્યા.