Lutzville entstand an einem Ort, wo es eine bekannte Raststelle in einer Höhle im Felsen oberhalb der heutigen Siedlung gab. Die erste Erwähnung dieses Punktes aus dem Jahre 1661 stammt von Pieter Everaerts mit der Bezeichnung "Vlermuisklip". Reisende und später britische Soldaten im Ersten Burenkrieg nutzten die Höhle als Unterkunft. Eine bereits entstandene kleine Siedlung wurde im August 1923 nach Johan J. Lutz benannt, einem bekannten südafrikanischen Wasserbauingenieur, der an der Errichtung des Clanwilliam-Staudamms beteiligt war. "Vlermuisklip" bedeutet in Afrikaans „Fledermausfelsen“, eine markante Erhebung am Ort.