La deschiderea Conciliului de la Ferrara din 1438 care urma să dezbată, printre altele, Marea Schismă din 1054, Marcu al Efesului a făcut parte din delegația bizantină condusă de împăratul Ioan al VIII-lea Paleologul. Încă de la început, el s-a arătat un opozant înverșunat al doctrinei latine. A trimis o scrisoare în care critica doctrina teologică promovată de papă, dar aceasta a fost reținută din ordinul împăratului Ioan al VIII-lea, care se temea că ar compromite negocierile de unire între cele două biserici. Cu toate acestea, treptat, membrii delegației bizantine care susțineau unirea au devenit tot mai numeroși, iar Marcu nu a mai avut aproape nici un susținător, cu excepția fratelui său, Ioan, și a lui Dimitrie Paleologul. Cu toate acestea, în perioada 2-24 martie 1439, Marcu i s-a opus teologului latin Ioan de Ragusa în privința pogorârii Duhului Sfânt. La presiunea împăratului Ioan al VIII-lea, el a trebuit să abandoneze dezbaterea. Marcu a fost singurul episcop răsăritean care a refuzat să semneze acordul de unire a celor două biserici la sfârșitul conciliului. Acest gest l-a impus pe Marcu drept conducător al taberei antiunioniste, făcându-l pe mitropolit să dobândească un respect profund din partea creștinilor bizantini care se opuneau hotărârilor luate la Florența. În același timp, gestul mitropolitului Efesului a atras mânia papei care a încercat să-l condamne ca eretic, dar această intenție nu a putut fi pusă în practică din cauza protecției oferite de împăratul bizantin. După un scurt popas la Efes, Marcu s-a întors la Constantinopol pentru a conduce opoziția ortodoxă față de politica unionistă a împăratului. Când a sosit acolo la 1 februarie 1440, el a fost întâmpinat de populație ca un apărător al credinței creștine.