Dagfinn Mannsåker ble født i Ullensvang, der faren Jon Mannsåker var prest og skolestyrer på Hardanger Folkehøgskule. Han var bror til politikeren Bergfrid Fjose, filologen Jørund Mannsåker og presten Inge Mannsåker. Mannsåker hadde barneårene sine i Ullensvang, men fra 1928 bodde familien på Voss og i 1933 flyttet de til Oslo, der Mannsåker tok artium og studerte.