La stagione 1954 fu di transizione per i Browns. Molti dei giocatori che facevano parte della squadra dal 1946 si erano ritirati o erano vicini alla fine delle loro carriere. Graham, dal canto suo, disse a Brown che si sarebbe ritirato alla fine della stagione. Nonostante tutti quei cambiamenti, la stagione 1954 si rivelò solida sia per Graham che per i Browns. Dopo aver perso le prime 3 partite, Cleveland vinse otto partite consecutive, giungendo in finale, per la terza volta consecutiva contro i Lions. Quella volta, il punteggio non fu equilibrato. I Browns vinsero 56–10 con Graham che corse 3 touchdown e ne passò altri tre. Dopo la gara, Otto annunciò il proprio ritiro.