Axel Buch var sønn av grossist Nicolay Buch og Cecilie Lykke. Axel Buch giftet seg i 1959 med Aase Randi Unneberg, men ekteskapet ble oppløst. Buch giftet seg i 1987 med tidligere ordfører Anne-Kathrine Parow.