Fue señalado por su hija Yamma Brown en su libro "Cold Sweat: My Father James Brown and Me" de golpear a su madre, la segunda esposa del cantante llamada Deirdre Jenkin.