また、丹下はこの事業にイサム・ノグチを強く推して参加させたが、当時建設省の広島平和記念都市建設専門委員会委員長であり、また丹下の恩師でもあった岸田日出刀の「原爆を落とした当のアメリカ人の手になるもので、爆死者の慰霊になるのか」という強い反対意見により、慰霊碑はノグチのデザインが却下され、丹下自身が担当することになった。丹下は、岸田らの介入に対する不快感とノグチへの申し訳なさもあって、ノグチのデザインをほぼそのまま流用しながら、自分自身の当初の構想に立ち返って埴輪の家の屋根形にデザインした。しかし、結果的には、慰霊の際、ノグチの手によるモニュメンタル性の強いオブジェを拝む形になるのではなく、人々が慰霊碑に相対したときに視線の先に原爆ドームが自然に垣間見える様になって、平和公園は単なる慰霊施設ではなく平和を祈念し「平和を創り出すための工場」であるべきだという丹下の建設理念がより明確となった。そこから、後にこれらの施設がピースセンターと呼ばれることにもなる。
特に東京オリンピックプールの評判は素晴らしく、アメリカ水泳選手団の団長は感激のあまり、「将来自分の骨を飛び込み台の根元に埋めてくれ」と申し出たと伝えられる程であった。
大会後、国際オリンピック委員会は、東京都ならびに日本オリンピック組織委員会とともに、丹下健三を特別功労者として表彰した。ここにひとりの建築家が、その建築表現の持つ力によって、国際社会に与える影響力の大きさにおいても、主催者である行政や組織と比肩しうるものであることを全世界に実証したのである。それ以降、丹下健三の名は世界の人々に広く知られるところとなり、日本国外のビッグプロジェクトにも多く携わることになった。