Uma curta resposta é conseguir uma conexão melhor com a Internet.
Existem dicas e truques que você pode aplicar para melhorar a velocidade de download, mas em resumo, a velocidade da Internet é o que mais importa.
Dito isso, você pode tentar baixar rastreadores da lista dos melhores sites de torrent com alta velocidade de download.
Se isso ainda não atender às suas necessidades e você usar o uTorrent, você pode clicar com o botão direito em um torrent que está baixando no momento, ir para Alocação de largura de banda e definir como alto. Além disso, não há muito mais que você possa fazer.