Bajo distintas variantes de tradición se conecta su origen con un cabrero llamado Pedro Peña, más conocido como Peña el Sordo, de quién derivaría el apelativo de la población; o con una llamada "Piedra del Sordo", ámbito en el que el mismo personaje erigió supuestamente en el siglo XIV una primitiva cabaña de pastor, a la que luego se fueron añadiendo otras hasta consolidar un caserío en torno a la vieja ermita de Santa Brígida.