Før midten av 1830-årene tyder alt på at Knud Ibsen så at forretningene hans var i ferd med å gå under. Ifølge Jørgen Haave oppsøkte Ibsen da perifere forretningsforbindelser, folk utenfor sin nærmeste krets i Skien, og tok opp store lån, og sluttet deretter å betale regningene sine. Brennevinsbrenneriet var belånt med nesten ti ganger verdien da det til slutt ble solgt. For mange av lånene var kreditoren med førsteprioritet hans egen svigermor, Hedevig, og alle de andre kreditorene var satt sjakkmatt uten reell mulighet til å få igjen pengene sine. Da familien Ibsen flyttet til lystgården Venstøp satt Knud Ibsen på en kontantbeholdning som tilsvarte åtte årsinntekter fra den tiden han var blant den rikeste prosenten i Skien. Det gjorde det mulig for familien Ibsen å fortsette et komfortabelt liv i flere år. Haave sa at Knuds lånopptak i ettertid har blitt kalt svindel, men at han ikke tror det ble betraktet som det på den tiden, og at det var et helt annet lovverk.