Друга світова війна також залишила палац недоторканим. Тут проживав Й. В. Сталін під час Ялтинської конференції. Також там пройшла нарада міністрів закордонних справ та урочистий обід на честь президента США Ф. Рузвельта та прем'єр-міністра Великої Британії В. Черчилля. З тих часів тут збереглися деякі елементи інтер'єру, більярд та письмовий стіл Й. Сталіна.