Grammer ble født på Saint Thomas på De amerikanske Jomfruøyer. Hans familie er blitt sagt å være forfulgt av tragedier. I 1968 ble hans far drept like utenfor sitt hjem og i 1975 ble hans søster drept etter først å ha blitt bortført. I 1980 ble hans halvbror drept av en hai.