I 1715, midt under krigen med Sverige, meddelte hun sin mann at hun måtte reise til kurbad i nabolandet for sin helses skyld. Med på reisen tok hun sin manns sekretær. De lot seg innlosjere på slottet i Stockholm, hvor hun blant annet skal ha spillet kort med dronningen. Etter noen tid vendte de tilbake til Norge. Da besøket hadde foregått på et tidspunkt hvor Danmark-Norge lå i krig med nabolandet, vakte det mistenksomhet, hvorfor sekretæren og flere medreisende ble avhørt ved hjemkomsten. Ingen beviser kom frem som kunne skade Toller, til gjengjeld ble hennes mann såvel som svogeren, Caspar Herman Hausmann dimittert i nåde.