É sim. Como a velocidade de carregamento é afetada também pela rede do usuário e pelo provedor de internet que utiliza, sem falar nos inúmeros fatores internos do servidor do site, é comum todas as vezes que avaliar o tempo de resposta do servidor ele apresentar um número diferente. Apenas verifique se, mesmo variando, o valor permanece baixo, deixando assim suas páginas otimizadas em definitivo.