Gauck ble født i 1940 i Rostock. Faren, som også het Joachim Gauck, var sjøkaptein og moren fagutdannet kontormedarbeider. Begge foreldrene var medlem i NSDAP, hans mor fra 1932, hans far fra 1934. Gauck har tre søsken: Marianne (f. 1941), Eckart (f. 1945) og Sabine (f. 1947).