Caspari var sønn av den tysk-norske teologiprofessoren Carl Paul Caspari. Han er mest kjent som lyriker, men av yrke var han lærer ved Oslo katedralskole fra 1890 til 1922. Johan Sebastian Welhaven var forbilde for diktningen hans, og det kommer frem i en behersket, reflektert og vemodig lyrikk.