I perioden 1953–66 spilte Colts i NFL Western Conference (også kjent som en divisjon), men hadde ikke noen merkbare rivaliseringer med noen av de andre lagene da de var det østligste laget i divisjonen og resten av lagene lå i Great Lakes-området, Green Bay Packs, Detroit Lions, Chicago Bears, og etter 1961, Minnesota Vikings, samt ligaens to lag på vestkysten, San Francisco og Los Angeles. Det nærmeste laget var Washington Redskins, men de spilte i den andre divisjonen og var ikke særlig kompetitive i perioden.