Antonsen var far til de kjente musikerne Ole Edvard Antonsen, Jens Petter Antonsen og Tom Erik Antonsen. Han var frimurer av X grad og har virket som dirigent for Hamar Frimurerkor.