Il 27 giugno 2013, al Barclays Center di New York, ha luogo il Draft NBA 2013, dove i Cavaliers hanno la 1ª, la 19ª, la 31ª e la 33ª scelta. Come prima scelta assoluta selezionano con grande sorpresa l'ala grande Anthony Bennett, mentre con la diciannovesima l'ala piccola Sergej Karasëv. Poco dopo viene inoltre ingaggiato il centro All-Star Andrew Bynum, reduce da una lunga serie di infortuni. Viene inoltre rafforzata la panchina con gli ingaggi di Jarrett Jack ed Earl Clark. La squadra si presenta quindi per la prima volta dal post-LeBron James con l'obbiettivo di qualificarsi ai play-off, potendo disporre, oltre a Irving, di Bynum (già All-Star) e della prima scelta Bennett, oltre a diversi giovani di talento, come Waiters e Thompson. La stagione inizia però in modo molto diverso da quanto sperato: complici soprattutto i rendimenti disastrosi di Bynum, che viene addirittura sospeso a tempo indeterminato, e Bennett, che chiude il 2013 con 2,1 punti e 2,1 rimbalzi in 10,7 minuti di media tirando con il 22,8%, venendo definito da molti esperti la peggior prima scelta di sempre, i Cavs si ritrovano a metà stagione abbondantemente fuori dalla zona play-off. Per migliorare la situazione Bynum viene ceduto insieme ad alcune scelte al draft ai Chicago Bulls in cambio di Luol Deng (2 volte All-Star). Per sostituire Bynum viene in seguito acquisito Spencer Hawes dai Philadelphia 76ers in cambio di Earl Clark, Henry Sims e due seconde scelte a draft futuri. Nonostante i cambi nel roster le prestazioni non migliorano e i Cavs chiudono la stagione con un record di 33-49, mancando i play-off che molti ritenevano alla portata della squadra. Dopo la conclusione della stagione regolare Brown viene licenziato per la seconda volta in 4 anni.