Das ist gut möglich, denn ein Caching-Plugin allein ist nicht das Allheilmittel. Häufig wird am Hosting gespart. Hoste deine Seite daher nicht bei Massen- und Billiganbietern, sondern suche dir gezielte WordPress Hoster aus. Hier sind die Ladezeiten meist bereits ohne weitere Optimierung gut bis sehr gut. Achte auch darauf, nicht zu viele Plugins installiert zu haben und die Bilder zu komprimieren.