Biskop Hvoslef ble utnevnt til ridder av St. Olavs Orden i 1870. I 1890 ble han forfremmet til kommandør av 1. klasse.