Z zespołem jest związany od samego początku w 1970 i to on wymyślił nazwę "Aerosmith" . Po raz pierwszy jako twórca utworu pojawił się na drugim albumie zespołu w utworze "Pandora's Box". Ze wszystkich członków Aerosmith, jako współautor Kramer pojawia się najrzadziej. Regularnie był wzmiankowany ze względu na udział w bijatykach, ekscesach seksualnych i narkotyki. Zespół odmówił mu możliwości występu na 62. ceremonii wręczenia nagród Grammy w 2020, powołując się na słabą formę perkusisty. Sąd odrzucił skargę Kramera.