Da han døde i 1936, i en alder av 36 år, ble John Gilbert gravlagt på Forest Lawn Memorial Park i Glendale i California. Gilbert ble tildelt en stjerne på Hollywood Walk of Fame ved 1755 Vine Street og i 1994 ble han hedret med å få sitt portrett på et amerikansk frimerke som ble tegnet av karikaturtegner Al Hirschfeld.