Sus padres fueron criados como aparceros en Carolina del Sur, llamaron a su hijo Irving Rhames por el fallecido periodista Irving Rhames Levine, el cual mantuvo una larga y prolífica trayectoria en la NBC.