Han var sønn av Finn T. Jagge. Selv ble Finn Dag Jagge gift med alpinisten og tennisspilleren Liv Jagge-Christiansen og far til Nina Jagge Lindstøl og alpinist Finn Christian Jagge.