Rolf Barmen er gift med Charlotte Christine Eriksen Barmen og har fire barn. Han er far til fotballspilleren Kristoffer Barmen, Andreas Barmen, Helene Christine Barmen og Victoria Christine Barmen.