Colts stammer fra Miami Seahawks, et av de originale lagene i AAFC. Etter en særs dårlig sesong ble Seahawks overtatt av ligaen og ble deretter kjøpt og omorganisert til Baltimore Colts av en gruppe forretningsmenn. Det nye laget slet over de neste tre sesongene, men klarte allikevel å bygge opp en tilhengerskare i Baltimore. I 1949 var Colts ett av tre AAFC-lag, sammen med San Francisco 49ers og Cleveland Browns, som gikk over til NFL etter sammenslåingen av de to ligaene. De spilte kun 1950-sesongen før økonomiske tap førte til at laget ble nedlagt.