Etter flere års reiser i Europa kom Gram til England under navnet «Nicolai Løwengram». I 1711 vendte han tilbake til Norge, hvor han tok inn hos en bror på gården «Tossou» på Øvre Romerike. Ludvig Daae mener dette må være Torshov i Gjerdrum. Fordi han vakte mistenksomhet ved å ha svenske brev hos seg (dette var under Den store nordiske krig), ble han arrestert av stattholderen Waldemar Løvendal og ført til Christiania, hvor han ble gjenkjent som Niels Gram, som blant annet var skyldig i bigami. Han ble satt i fengsel på Akershus festning og senere sendt til slaveriet på Bremerholm i København. Ludvig Daae mener han må være død her, men ifølge et rykte skulle han ha klart å rømme fra fengselet. S. H. Finne-Grønn mener han kan ha blitt landsforvist igjen. I alle fall er hans endelige skjebne ukjent.