Storm var en velstudert, kultivert og kunnskapsrik mann med et bibliotek på skinnbind med eget superexlibris som dekorasjon i ryggfeltene. Han interesserte seg for opprettelsen av en høyere undervisningsanstalt i Christiania, førte et kostbart hus og hadde stor byggelyst. I 1772 gikk han fallitt og måtte oppgi sine embeter, hvoretter han reiste til København. Biblioteket, matematiske instrumenter, naturalier, mineraler og konkylier ble solgt på auksjon i Christiania den 23. november 1772. Sine siste leveår tilbrakte han på familien Heinens herregård Kejrup på Fyn, hvor han døde den 12. mars 1777.