Hudebně se Joey Kramer začal "oťukávat" jako čtrnáctiletý v instrumentální skupině The Medallions] Náznaky jeho kariéry se však začaly objevovat až v pozdějším věku, kdy začal bubnovat na jedenáctikusové rhythm and bluesové soupravě bicích, kdy objevil hudbu, která měla sloužit jako jeho hlavní zdroj inspirace. Jako fanoušek bluesrockové hudby dokonce v roce 1969 navštívil legendární festival Woodstock, a to spolu s budoucím kolegou z Aerosmith, Stevenem Tylerem. Festival měl však hygienické zádrhely do té míry, že ho dvojice i rychle opustila. V r. 1970 se Joey opět spojil s kamarádem Tylerem, který spolu s kytaristou Joem Perrym a baskytaristou Tomem Hamiltonem vytvořili základ pro novou skupinu. Steven Tyler, nadějný textař, navíc přenechal svůj bubenický post a postavil se za mikrofon. Joey nastoupil na jeho místo a stal se neměnnou součástí kapely. Byl to také on, kdo pojmenoval nejúspěšnější americkou rockovou kapelu jako Aerosmith.