ホーム画面にある歯車マークを押して設定画面に移動し、「再生」の欄に「オフライン」の項目があります。そこをオフにすれば解除完了です。なお、オフラインモード時は画面下に「Spotifyは現在オフラインに設定されています」と表示されるので、念のためそこで確認しておきましょう。