Da han var nitten år ble han fengslet for noen måneder anklaget for å ha forfattet en satire mot sine beskyttere ved kollegiet. Han satt fengslet i For-l'Évêque. La Harpe benektet alltid å ha vært skyldig i anklagene, men dette og andre sørgeligheter under hans tidlige år da han alltid hadde vært avhengig av andres gunst, kan ha bidratt til den bitterhet som han senere i livet lot komme klarere til uttrykk. Faktist er hans arroganse og spisshet, som førte til at han med største letthet mistet venner, noe av det som er blitt heftende ved ham i ettertiden.