Hans memoarer, , ble utgitt av den historiske forening i 1876, og regnes som et verdifullt bidrag til norsk historie. Holst var en av de fire første mottagerne av storkorset da St. Olavs Orden ble innstiftet i 1847. Han var også innehaver av Nordstjerneordenen og Borgerdådsmedaljen i gull.