Marryat, nacido en Great George Street, Westminster, de familia hugonote que había huido de Francia a finales del siglo XVI, era nieto de Thomas Marryat (médico, autor de "La filosofía de los masones" y escritor de poesías) y el segundo hijo de Joseph Marryat, de Wimbledon, miembro del Parlamento por Sandwich, presidente del Lloyd's y agente colonial de la isla de Granada, quien escribió panfletos en defensa de la trata de esclavos.