Han var sønn av den norsk-amerikanske forfatteren Ole Rølvåg, som kom fra Dønna på Helgeland, og hustru Jennie Berdahl, som var født i Amerika av foreldre fra Leikanger i Sogn. Karl Rolvaag vokste opp i Northfield i Minnesota, der faren hadde en stilling som professor i norsk ved St. Olaf College.