Keyser var far til universitetshistorikeren Fredrik Wilhelm Keyser, historikeren Rudolf Keyser og teologen Christian Nicolai Keyser, samt onkel til fysikeren og kjemikeren Jens Jacob Keyser.