Han var sønn av kaptein og overekvipasjemester i Asiatisk Kompagni Niels Hansen Gram (d. 1760) og hustru Maren Brock (1734–1804), søster til handelsmannen Niels Brock. Hvor familien var handelsfolk valgte Gram en annen retning og studerte musikk og litteratur. Etter en affære reiste han i 1781 til Dansk Vestindia hvor han i en periode var Heinrich Ludwig Ernst von Schimmelmanns sekretær. I 1785 dro han videre til Boston hvor han ble musikklærer og organist ved kirken i Brattle Street. Han ble gift, fikk flere barn og endte sine dager som velansett musiker og komponist.