Rue de la Harpe stammer - hva gjelder stykket sør for Rue Saint-Sévérin - fra galloromersk tid. Den gang begynte den formodentlig ved Petit som løp sør for de to broene i Cardo og fortsatte sørvestover til dagens kryss med rue Sévérin (og lar seg påvise herfra), var en parallelgate til Cardo, den nåværende rue Saint-Jacques, og het det dermed passende navn (lat. = vei, gate - = nedenfor; nedre gate), noe som senere ble forvansket til .