Não, o Google Analytics não tornará seu site mais lento, porque ele carrega de forma assíncrona. Isso significa que ele cria um novo tópico de download que não bloqueia o carregamento do restante da página.