Caspari hadde jødiske foreldre og vokste opp med hebraisk språk og jødisk teologi. I studietiden ble han påvirket av Franz Delitzsch og konverterte til kristendommen i 1838.