I 1809 måtte Pihl gå av som kapellan, offisielt av helsemessige årsaker. I virkeligheten gikk han av på grunn av et rykte om et forhold med en annen manns hustru. Han kunne selv ikke avvise dette ryktet og fikk avskjed med pensjon og rett til å beholde enkesetet Hasle. Han kunne dessuten beholde professortittelen. I 1811 tok han borgerskap som grosserer og drev handel med korn. Under Napoleonskrigene var han en av flere skribenter som foreslo at bøndene skulle benytte surrogater for å avhjelpe matmangelen.