Rote fu scelto dai New York Giants come primo assoluto nel Draft NFL 1951. Dopo due stagioni giocate come running back, passò al ruolo di wide receiver a causa di un infortunio al ginocchio. Al momento del ritiro, dopo la stagione 1961, Rote era il primatista di tutti i tempi dei Giants per ricezioni (300), yard riecevute (4.805) e touchdown su ricezione (48). Era inoltre al secondo posto per touchdown totali (56) e quinto in punti segnati (312). In totale, Rote disputò 4 finali del campionato NFL. inclusa quella vinta nel 1956 contro i Chicago Bears e quella del 1958 persa contro i Baltimore Colts ai tempi supplementari per 23-17, conosciuta come "La più grande gara mai giocata", la prima finale di campionato trasmessa in diretta televisiva. Rote fu il capitano dei New York Giants per otto stagioni.