À dix-neuf ans, il commence à travailler avec l’agence de presse soviétique Tass. Khaldeï est réputé pour ses photographies de la Seconde Guerre mondiale et du Procès de Nuremberg. Khaldeï travaille avec Tass jusqu’en 1948, où du fait de la campagne contre le "cosmopolitisme" (antisémitisme à peine déguisé), il est purement et simplement "viré". Il travaille alors pour un modeste journal syndical, où il lui était interdit de photographier des musiciens juifs. Il expliquera ainsi, que comme beaucoup l'étaient, il prit beaucoup de photos de Rachmaninov et puis Khatchatourian. En 1959, avec le Dégel, il est cependant embauché par la Pravda et continue de photographier les réalisations du régime et les personnalités soviétiques. Mais en 1972, il est à nouveau licencié du fait de l'antisémitisme du rédacteur en chef. Il survit alors grâce à des amis, notamment le romancier Simonov (il travaille pour une revue d'art) et organise des expositions de ses photos.