Para mejorar el tiempo de respuesta hay poco que podamos hacer si no tenemos muy claro lo que estamos haciendo, pero ahí van algunos consejos que te pueden ayudar:
Desinstalar plugins que no utilicemos, especialmente aquellos que guarden demasiados registros.
Utilizar un tema rápido y minimalista.
Elegir un hosting adecuado, evitando en medida de lo posible compartidos y seleccionando un alojamiento más potente.
Seleccionar un servidor cerca de la ubicación física de nuestros potenciales visitantes.
Instalar un plugin de caché o solicitar a nuestro proveedor de alojamient instalar una solución más profesional como Varnish o caché con Redis.
Instalar un CDN. Aunque servir imágenes y archivos estáticos no suele ser un gran problema, cuando nuestro tráfico es elevado restar de este peso al servidor puede ser una buena idea.