Fra Amsterdam reiste Gram over Flandern til Tyskland. I Celle gjorde han seg bemerket ved hoffet som predikant, utga seg for sønn av en svensk baron og var nær blitt utnevnt til prest i Hannover, men gjorde seg igjen «umulig ved sit liderlige levnet» og måtte rømme videre. I neste omgang kom han til jesuittene i Hildesheim, hvor han offentlig gikk over til katolisismen. Da hans utsvevende liv ble kjent for jesuittene sendte de ham til Köln, hvor Gram rømte fra dem og skal ha giftet seg på ny.