Да, скорость это основной фактор CWV и несмотря преследуемую цель Google — повысить качество собственной поисковой выдачи, в конечном счете, действует он в интересах пользователя. Поэтому выполняя рекомендации CWV, если добиться «зеленой зоны», сайт будет загружаться существенно быстрее.