Joachim Gersdorff ble født på godset Søbygaard, som ligger i Jylland. Hans far var den tyskfødte landgreve Christoffer von Gersdorff, som var meget rik, hvilket han beviste ved å kjøpe mange gods, som Palstrup, Isgaard, Søbygaard, Vosnæsgård og Udstrup. Det er ikke mye som er kjent om Joachim Gersdorffs ungdom; kun at han fra 1624 til 1629 studerte på Herlufsholm kostskole og i 1640 vendte hjem fra et kunnskapsopphold i Nordtyskland.