高速化設定はやるべきです。Googleが示すSEO指標にも「モバイルフレンドリーにする」という表示の最適化に関するものが入っています。