Året etter ble Dexter med i det nyoppstartede Capitol Records, der han tok ansvar for artister og repertoar. Han ble i firmaet fra 1943 til 1975. I denne perioden jobbet han i begynnelsen mye med jazz, men ble ingen større fan av den nye musikkstilen bebop, og spesielt likte han Charlie Parker dårlig. På den annen side jobbet han godt med Duke Ellington og Count Basie.