En betydelig kassemangel, foranlediget ved en samarbeide mellom justisdirektør, bokholder og kasserer, skaffet dog Ryberg en ubehagelig avslutning på hans direksjonssvirksomhet, da eierne ikke uten grunn bebreidet direksjonen en alt for stor tillit til nevnte menn, hvilket førte til en skriftutveksling, hvor Ryberg forsvarte direksjonen, og en dom, hvor Ryberg måtte dekke en større del av et av bokholderen ydet lån. Ved kabinettsordre av 6. mai 1776, korroborert av Kongen 11. mai 1778, ble Ryberg utnevnt til handelskyndig medlem av direksjonen for , hvor flere av statens øverste embedsmenn som Ove Høegh-Guldberg, Otto Schack-Rathlou, Stemann og grevene H.C. Schimmelmann og Ernst Heinrich Schimmelmann hadde plass. Det meget privilegerte selskap gav i noen år interessentene betydelige fordeler, men det gikk etter freden i Versailles sterkt tilbake. Ryberg ble uenig med sine kolleger om selskapets drift og fikk 20. april 1785 kongens tillatelse til å ta avskjed.