Han startet musikerkarrieren i lokale band, blant annet i The Royal Spades sammen med sin barndomsvenn og senere bandkollega i Booker T. & the M.G.'s, Steve Cropper. Bandet skiftet navn til The Mar-Keys, og fikk platekontrakt med Stax Records. De fikk en hit med låten «Last Night», men i 1962 ble gruppen oppløst. Dunn ble så med i storbandet til Ben Branch, før han i 1965 ble med i Booker T. & the M.G.'s.