Nach der deutschen Kapitulation begleitete er die Potsdamer Konferenz, die Moskauer Siegesparade von 1945, die Nürnberger Prozesse und die Pariser Friedenskonferenz (1946) als Bildreporter. Seine jüdische Herkunft wurde ihm 1948 den Nachkriegsjahren im Rahmen des „Kampfes gegen wurzellose Kosmopoliten“ zum Verhängnis: er wurde von der TASS entlassen und durfte auch nicht mehr für die Parteizeitung Prawda arbeiten. Er musste sich mit Gelegenheitsarbeiten durchschlagen und fristete bis zum Tod von Josef Stalin (1953) ein Leben in Armut. Nach der Geheimrede Chruschtschows 1956 wurde er von der Prawda wieder eingestellt und 1972 erneut entlassen. Trotz seiner weltberühmten Fotos blieb er jahrelang weitgehend in Vergessenheit. Die späte Würdigung seines Werkes erfolgte hauptsächlich durch Ernst Volland, der Chaldej erstmals 1991 in Moskau und später in Berlin begegnete. 1995 wurde Chaldej zum Festival Visa nach Perpignan eingeladen und gefeiert. Bei diesem Anlass lernte er Joe Rosenthal persönlich kennen.