קרליבך הצליח לייבא מגרמניה מספר מורים בעלי הכשרה גבוהה למאמץ החינוכי החלוצי לטובת הילדים היהודים בשטחים הכבושים – כולם, כמותו, קצינים בצבא הגרמני ובעלי אוריינטציה אורתודוקסית. בין אלה היה הרב ד"ר שמואל (ליאו) דויטשלנדר (שבהמשך, בשנות ה-20, הביא לביסוסה של רשת החינוך החרדית לבנות "בית יעקב"), ד"ר נחמן שלזינגר (שלפני המלחמה ניהל את בית הספר תחכמוני בתל אביב, ובהמשך ניהל את בית הספר התיכון של קהילת 'עדת ישראל' בברלין) והמתמטיקאי ד"ר זיגברט הַלברשטאט (שהורה גם הוא באותו מוסד). כמו כן גייס מספר מורים מקומיים, מהמזרח. המוסד מומן בחלקו על ידי יהודי קובנה ובחלקו על ידי המִנהל הגרמני ומתרומותיהם של חוגי האורתודוקסים בגרמניה.
ב-15 בדצמבר 1915 נפתח בית הספר, ובו שלושה מורים וחמישים תלמידים (עשרים נערים ושלושים נערות).
הורים רבים חששו להפקיד את ילדיהם בידי המחנכים החדשים מגרמניה, הלבושים במדי צבא; אולם הצלחת המחזור הראשון, וכן מאמציו של קרליבך, שעבר בין בתיהם של תלמידים פוטנציאליים להציג את עצמו ואת המוסד, הקנו לבית הספר שם אצל רבני הקהילה ועסקניה, ועד מהרה ביקשו רבים להירשם אליו. בשנה השנייה, כאשר מספר התלמידים הגיע ל-550, ומספר המורים הגיע לשלושים, הוא הפך ברישיון השלטונות לגימנסיה ריאלית, שנודעה בשם "גימנסיית קרליבך". הגימנסיה פוצלה לשניים: בית ספר לבנים (ובו תשע שכבות לימוד) ובית ספר לבנות (ובו שמונה שכבות). מלבד המנהל שירתו בבית הספר עוד ארבעה חיילים, כמורים ללטינית, לגרמנית, לצרפתית, למתמטיקה, לפיזיקה ולכימיה. גיוס התלמידים לבית הספר התבצע באמצעות ביקורי בית. בשנה השלישית היה מספר התלמידים קרוב לאלף. הרב קרליבך שימש לא רק מנהל בית הספר, אלא גם מורה מחליף ברוב המקצועות שלומדו.
בעיתון "הצפירה" ביוני 1918 נכתב כי "בית הספר מטעים את אפיו הדתי-לאומי. החגיגות הנערכות בו לרגל החגים היהודים נושאות צביון יהודי-לאומי... שכר הלמוד מגיע במחלקות הנמוכות לשמונה מרק לחודש, בתיכונות 10 מרק לחודש ובגבוהות – י"ב מרק. 80 ילדים לומדים חנם, 100 ילדים משלמים שכר נמוך מן השיעור הקצוב." בליל שבת נערכו בביתו של המנהל מפגשי "עונג שבת".
קרליבך והמוסד זכו להערכה הן מצד התלמידים והן מצד הוריהם, ואף מצד מנהלת הפיקוד.
בליטא העצמאית (1918–1940).
עם תום המלחמה והקמת הרפובליקה הליטאית הראשונה עלו ונפתחו גימנסיות עבריות נוספות בערים שונות בליטא.
בתוך זרם הפליטים שחזרו מרוסיה לליטא באו גם מורים עברים, בעלי השכלה עברית וכללית רחבה, שהיו בעלי הכשרה להורות מקצועות שונים. אט-אט הם תפסו את מקומם של המורים מגרמניה, ואת מקום הגרמנית ירשה העברית, שכעת שימשה כשפת הלימוד בכל המקצועות.
במרץ 1919 נפטר אביו של קרליבך, הרב ד"ר שלמה קרליבך, והוא נקרא למלא את מקומו על כס הרבנות בליבק. וכך, ברבע האחרון של שנת הלימודים הוזמן לשמש במקומו כמנהל נחמן שלזינגר. שמואל קפיט, שהיה אז מורה למתמטיקה בגימנסיה, סיפר לימים על שלזינגר: "יחסו לעברית היה חיובי ובלי שום פקפוקים הרשה למורי המתמטיקה והלטינית להורות במחלקות אחדות את מקצועותיהם בעברית. קהל התלמידים שמח מאד לחדוש זה וההתעוררות ביניהם הייתה גדולה."
באוגוסט 1920 אישר משרד החינוך הליטאי לפתוח בגימנסיה 8 כיתות ועוד 4 כיתות מכינות (מקביל בערך לבית ספר יסודי). משרד החינוך קבע ששפת ההוראה בה תהיה עברית, אך עם זאת, חובה היה גם ללמוד את השפה הליטאית. על המועמדים היה לעמוד במבחני הקבלה (כך לדוגמה, ב-1926 היו 111 מועמדים, שמתוכם התקבלו 71).
ב-1922 הצהיר נציג ממשלת ליטא העצמאית בפני חבר הלאומים בז'נבה (סעיף 5) כי אזרחי המדינה השייכים למיעוטים אתניים, דתיים ולשוניים ייהנו מזכויות שוות לנהל או להקים בעתיד מוסדות דתיים וחברתיים, בתי ספר וגופים חינוכיים אחרים, ולהשתמש בשפתם ובדתם בחופשיות. חוקת ליטא משנת 1922 (סעיף 73) ומשנת 1928 (סעיפים 74 ו-75) קבעה בנוסף כי אזרחי לאומים אתניים גדולים ייהנו מאוטונומיה תרבותית, ובכלל זה ניהול עצמי של מערכת החינוך שלהם.
באביב 1921 עבר שלזינגר לנהל בית הספר התיכון של קהילת 'עדת ישראל' (Adass Jisroel) בברלין. בהשפעת החוגים הציוניים בעיר, הוזמן ד"ר שלום יונה טשרנא לנהל את הגימנסיה. טשרנא היה אז מגדולי הפדגוגים העבריים – בעל תואר דוקטור לכימיה ופילוסופיה מאוניברסיטת ברלין, מייסדם ומנהלם של בתי ספר וגימנסיות יהודיים ברוסיה, מראשי רשת החינוך העברית "תרבות" ומורה ומנהל במוסדות להכשרת מורים עבריים, ממעצבי דמותם של "הקורסים הפדגוגיים הגרודנאיים" החלוציים. שמעון ז"ק, מורה להיסטוריה בגימנסיה, מספר כי טשרנא "הכניס אל הגימנסיה מורים חדשים, שינה וחידש את תכנית הלימודים עד שהמוסד לבש צורה חדשה. אולם תיקונים לא היו כנראה לפי רוחם של החברים השמרנים בוועד ההורים [הגימנסיה נחשבה לבית ספר פרטי, בבעלות ועד ההורים], והוא התפטר ממשרתו" (לאחר מכן ייסד סמינר למורים ושב לעיר הולדתו וילנה).
חלק מסגל המורים והמנהלים כיהנו קודם בגימנסיות עבריות אחרות בליטא, בהן הגימנסיה העברית בווילקובישק (נוסדה ב-1919), שבה הורו את כל המקצועות בעברית בהברה ספרדית (כפי שהתקבל קודם לכן ביישוב בארץ ישראל). מנהלה של הגימנסיה בווילקובישק מ-1920, ד"ר צמח פלדשטיין, שלימד קודם בגימנסיה של מגנוס קרינסקי בוורשה ואחר-כך בגימנסיה בקאליש, ובתקופת המלחמה ייסד גימנסיה במינסק, התמנה ב-1922 כמנהל הגימנסיה העברית הריאלית בקובנה ושימש בתפקידו עד סגירתה ב-1940. פלדשטיין היה גם חבר המרכז הציוני (ציונים כלליים) וחבר הוועד המרכזי של רשת החינוך העברית הציונית "תרבות" בליטא.
ד"ר יהושע פרידמן, שהתמנה תחתיו כמנהל הגימנסיה בווילקובישק, היה כעבור שנתיים למנהל המדור לבנות של הגימנסיה הריאלית העברית בקובנה. פרידמן, בנו של אליעזר אליהו פרידמן (סופר ופעיל ציוני, מראשוני "חיבת ציון" והעורך-המייסד של היומון העברי הוורשאי "הצופה"), היה סופר, מחנך ועסקן תרבות, חבר נשיאות רשת החינוך העברי "תרבות" וקרוב לתנועות הנוער, בעיקר ל"שומר הצעיר", ומתרגם עברי של היצירה הרומית הקלאסית. ב-1931, עם איחוד כיתות הבנים והבנות תחת קורת גג אחת, היה פלדשטיין המנהל ופרידמן היה לסגנו. לאחר עלייתו של פרידמן לארץ ישראל ב-1933 החליף אותו בתפקיד סגן המנהל ד"ר אברהם קיסין.
מורי הגימנסיה הריאלית, כמו מוריהן של יתר הגימנסיות העבריות בליטא, התמודדו עם מספר קשיים, ובהם בראש ובראשונה היעדר תוכנית לימודים קבועה ואחידה ומחסור בספרי לימוד וקריאה עבריים. המורה שמעון ז"ק מספר כי המורים "נאלצו לתרגם ולעבד את החומר להרצאות ולשיעורים ולמוסרו לתלמידים בצורת רשימות, או הסתפקו בספרי לימוד בודדים, שהגיעו לידם במקרה ובעקיפין מהגימנסיות בארץ ישראל". היו מהם שחיברו ספרי לימוד, שיצאו בעיקר בהוצאת א' פּטָשֶק (פטאשק, פּטאשעק; בליטאית: Ptašekas, פטאשקאס) בקובנה: יעקב דומבליאנסקי חיבר מקראות לכיתות הראשונות וספר לימוד דקדוק עברי למתחילים; נח לידסקי חיבר ספרי לימוד בדקדוק ותחביר עברי; יוסף ליוושין חיבר ספרי גאוגרפיה של ליטא היסטוריה של ליטא; שמואל קפיט חיבר ספרי לימוד במקצועות שונים במתמטיקה, כמה מהם עם עמיתו מרדכי סיסיצקי; ד"ר אברהם קיסין ושלום פינצ'וק – ספרי לימוד בטבע; וד"ר לוי חיים יפה – בפיזיקה.
רבים מאנשי הסגל של הגימנסיה היו חברי הוועד המרכזי של "תרבות" בליטא – מהם חברי הוועד הראשון, שהוקם בקובנה ב-1921: טשרנא ואפרים פרוכובניק (פרחיהו) – וחברי הוועדים הבאים: פלדשטיין ופרידמן, נתן גרינבלאט (גורן), ד"ר אלכסנדר רוזנפלד, פרופ' חיים נחמן שפירא ודב אלוני.
מורים לא מעטים לימדו גם בגימנסיית "שוואבה" בעיר, וכן בסמינר העברי למורים בעיר.
בשנת הלימודים 1927 היו בגימנסיה 8 כיתות של לימודים מוגברים במתמטיקה ומדעי הטבע. הגימנסיה כללה במתחמה בית ספר יסודי ("כיתות מכינות"), בדומה למקובל בפולין ובהונגריה, שם היה נהוג תקן של 4 כיתות בית ספר יסודי ואחריו 8 כיתות גימנסיה; ב-1924 נפתח ליד הגימנסיה גן ילדים עברי.
הלימודים בגימנסיה התקיימו בשני בניינים שכורים: כיתות הבנים שוכנו בבית וולף שברחוב אוגניאגסיו (Ugniagesių) 12, וכיתות הבנות – בבית נתנזון שברחוב גרדינו (Gardino) 8. המתקנים לא היו נוחים, וחדרי הלימוד היו קטנים וצפופים. באוקטובר 1928 יצא מנהל הגימנסיה פלדשטיין לארצות הברית, באישור משרד החינוך הליטאי, כדי לגייס כספים לטובת בתי הספר העבריים בליטא (בהם בתי הספר של "תרבות"), ובתוך כך לדאוג למימון עבור משכן חדש לגימנסיה. הוא גייס לעזרו את המשורר שאול טשרניחובסקי, תמורת תשלום הוגן, והשניים שהו בארצות הברית במשך מספר חודשים, שבמהלכם נסעו לשאת נאומים בפני הקהילות היהודיות ונפגשו עם מנהיגי יהדות ארצות הברית.
התרומה המשמעותית למימון הבניין החדש התקבלה מאדוארד מקס צ'ייס (Chase) (1874–1939), נדבן יהודי-אמריקאי ממנצ'סטר שבניו אינגלנד, שנולד וגדל בעיירה הליטאית אליטא. פלדשטיין התיידד עם צ'ייס, והלה תרם לפרויקט דרך ועד ההורים של הגימנסיה 25,000 דולר (כ-250,000 ליטאס) מתוך עלות כוללת של כ-70,000 דולר (700,000 ליטאס) (במקור אחר נאמדה עלותו הכוללת של הפרויקט ב-800,000 ליטאס).
משרד האוצר הליטאי נרתם אף הוא להלוות סכום כסף לא מבוטל.
בסתיו 1930 הונחה אבן הפינה לבניית הבניין החדש של הגימנסיה, ברחוב קסטוצ'יו 59 (Kęstučio; כיום מס' 85), מול התיאטרון הלאומי, במרחק הליכה מהרחוב הראשי לאיסוֶוס אָלֶיָיה ('שדרת החירות') .