Han var gift med Gwen Wilkerson frem til sin død. De hadde fire barn sammen, blant dem predikanten Gary Wilkerson.