Han døde 20. oktober 1864, 69 år gammel. I 1826 hadde Rafn giftet seg med Johanne Catharine Kiølbye, datter av en tollkontrollør. Hun døde 17. mai 1878. Oldskriftselskabet reiste en minnestein i grafnitt i gammelnordisk stil med runer på hans grav på Assistens Kirkegård i København.