Sí, Yoast SEO ralentiza la velocidad, pero no es el único factor que hay que tener en cuenta. Para superar esto también puedes instalar WP Total cache, Lite speed cache, Wp rocket, Wp cheetah, y algunos más. Estos plugins te ayudarán a limpiar la caché y aumentar la velocidad de carga.