Helge Gaarder var bror av forfatteren Jostein Gaarder, sønn av pedagogen og forfatteren Inger Margrethe Gaarder og rektor Knut Gaarder.