I Colts giocarono la loro prima stagione a Baltimore nel 1953, terminando con un record di 3–9 sotto la guida del coach Keith Molesworth. La squadra faticò nei suoi primi anni a Baltimore, raggiungendo il suo primo record positivo solo nel 1958. Guidati dal capo-allenatore Weeb Ewbank e dal quarterback Johnny Unitas, i Colts terminarono 9-3 nel 1958, arrivando per la prima volta alla finale del campionato NFL. I Colts in quella partita affrontarono i New York Giants in una delle partite entrate nella storia del football. I Colts sconfissero i Giants 23–17 nella gara in cui furono introdotti per la prima volta i tempi supplementari. La partita fu vista da 45 milioni di persone.