Il 1º luglio 2014, viene ceduto dagli Atlanta Hawks insieme ai diritti su Lucas Nogueira (16ª scelta al Draft NBA 2013) ai Toronto Raptors, nella trade che ha portato John Salmons e una seconda scelta al Draft NBA 2015 a fare il percorso inverso. Lou con la franchigia canadese disputò una super stagione andando oltre le aspettative, trovando una grande continuità e giocando 80 partite (tutte da subentrante) e tenendo di media 15,5 punti a partita. Per questo, dopo averlo perso per poco nel 2012, alla fine dell'anno ottenne il premio di miglior sesto uomo dell'anno, diventando il primo giocatore nella storia dei Toronto Raptors a riuscire in quest'impresa. Dopo essere arrivati terzi a est in RS con un record di 49 vittorie e 33 sconfitte, i Raptors affrontano gli Washington Wizards, arrivati sesti. Nonostante Williams tenga una media di 12,8 punti a partita, i Raptors delusero, venendo eliminati sorprendentemente con uno schiacciante 4-0 dalla squadra della Capitale.