Основана је 23. септембра 1858. године, као једанаеста гимназија на територији данашње Србије, после гимназија у Сремским Карловцима (1792), Суботици (1795), Новом Саду (1810), Крагујевцу (1833), Зајечару (1837), Чачку (1837), Шапцу (1837), Ужицу (1839), Београду (1839) и Зрењанину (1846). Треба напоменути да Земун тада није био у Србији, већ у Аустроугарској. Гимназија је основана указом ђаковачког бискупа Јосипа Јураја Штросмајера. Прве године рада имала је 21 ученика и један разред. Због утицаја Штросмајера, каснијег ватиканског концила, на бечки двор, а пошто се сматрало да Срби са Великим војводством представљају превелику опасност за државу, поготово због своје економске независности, већина градова имала је још одавно откупљену слободу од круне, а нарочито после револуције 1848. године када се јавило велико незадовољство међу Србима јер им није дат њихови део царства, наиме бечки двор не би ли лакше угушио побуну коју су изазвали мађари обећавао је Србима тројну монархију ако се буду борили на страни Беча, како су Срби се све више окретали тадашњој кнежевини Србији, а сремска жупанија није била у саставу Великог војводства, тј. Војводсва Србије и тамишког Баната, то су аустроугарске власти покушале да изврше покатоличење становништва тако што не би смели да свој језик називају српским него хрватским, тако је званични језик школе поред немачког, био и хрватски. Од 1872. године Земунска гимназија има сва четири разреда.