Utover det politiske forfatterskapet var Crusenstolpe også skjønnlitterær forfatter. Blant hans romaner kan nevnes (6 bind, 1840–1844), (3 bind, 1845-1846) og (5 bind, 1847-1849). Han var i sine senere år en flittig forfatter av nekrologer i kalenderen , disse ble samlet og utgitt i 1882 under tittelen . Viktige dokumenter har han utgitt i serien (1837–1845), blant hans øvrige populærhistoriske arbeider er (1836), (1851), (1859), samt (2 bind, 1861–1863). Han var også en av grunnleggerne av den kortlivede avisen (1845–1846).