Patriarcha wziął udział w soborze we Florencji (przełom 1438 i 1439 r.), na którym została zawarta unia między Kościołem katolickim i prawosławnym. Józef był, podobnie jak ówczesny cesarz bizantyjski, Jan VIII Paleolog, zwolennikiem unii kościelnej, upatrując w niej sposób na uratowanie upadającego cesarstwa. Na soborze we Florencji, krótko przed swoją śmiercią, Józef uznał prymat papieski w świecie chrześcijańskim.