Der Name "Pfaffenstein" leitet sich wahrscheinlich von dem nahegelegenen Ort Pfaffendorf ab. Die Einwohner von Pfaffendorf waren im Mittelalter zinspflichtig gegenüber dem Königsteiner Geistlichen, was in der erstmaligen urkundlichen Erwähnung des Ortes im Jahr 1437 dokumentiert ist. Der Name "Jungfernstein" geht auf eine Sage zurück, in der eine Frau ihre Tochter dazu verfluchte, zu Stein zu werden, nachdem sie sonntags nicht zur Kirche gegangen war, sondern auf dem Pfaffenstein Heidelbeeren gesammelt hatte.