Em 21 de junho de 2006, Nesterović foi negociado para o Toronto Raptors em troca de Matt Bonner, Eric Williams e uma escolha de segunda rodada no Draft de 2009. Em sua primeira temporada com os Raptors, ele obteve médias de 6,2 pontos, 4,5 rebotes e 1,0 bloqueios por jogo.