Navnet Berlaymont stammer fra et kloster tilhørende Augustinerordenen som lå på stedet. Klostret het . Byggingen av Berlaymontbygningen ble påbegynt i 1963 og det ferdige bygget ble innviet i 1969. Bygningen måtte imidlertid fraflyttes i 1991 på grunn av en omfattende renovering, hvor asbesten i fasaden ble fjernet. Arbeidet var planlagt til å være ferdig i 1997, men først i 2004 kunne bygningen igjen tas i bruk. I mellomtiden brukte kommisjonen Breydelbygningen. Renoveringen endte med å koste omkring 10 milliarder kroner.