Die Swartsee is een van vier seë wat in Afrikaans en ander tale ná kleure genoem is – die ander is die Geel-, Rooi- en Witsee. Die rede vir die "kleurterm" as naam kan ’n antieke toewysing van kleure aan die windrigtings wees: swart het noord aangedui, rooi suid en geel oos.