Pour la saison 2003-2004, Carlisle est réembauché par les Pacers de l'Indiana, cette fois comme entraîneur principal. Au cours de sa première saison, Carlisle mène les Pacers au titre de division centrale et au meilleur bilan de la NBA en saison régulière avec 61-21, établissant un record de victoires pour la franchise. En playoffs, l’équipe élimine les Celtics de Boston et le Heat de Miami, avant de perdre contre les Pistons de Détroit en finale de conférence Est. Cette année-là, il est élu entraîneur pour la conférence Est au NBA All-Star Game 2004. En 2005, l'effectif des Pacers est décimé par des blessures (notamment celles de Jermaine O'Neal, Stephen Jackson et Jamaal Tinsley) et des suspensions qui sont imposées après la bagarre entre Pacers et Pistons au Palace of Auburn Hills, où Ron Artest est suspendu pour le reste de la saison, Jackson pour 30 matchs et O’Neal pour 15 matchs. Cependant, les Pacers se qualifient quand même pour les playoffs cette saison. En tant que de conférence, ils battent de nouveau les Celtics de Boston au premier tour, avant d’être vaincus une fois de plus par le champion, les Pistons de Détroit.