Alcuni di loro costruirono un ospedale da campo utilizzando una delle vele di una nave e si dedicarono alla cura dei feriti fino al loro rientro quando lasciarono l'ospedale a due religiosi tedeschi, ai quali nel tempo se ne aggiunsero altri, che lo ampliarono acquistando un terreno e costruendovi un edificio con annessa cappella e costituendo l'ordine dei "fratres domus hospitalis sanctae Mariae Teutonicorum in Jerusalem". Il 6 febbraio 1191 all'ordine venne concessa l'approvazione e la protezione del pontefice Clemente III. La regola seguita dagli appartenenti all'ordine era quella dei cavalieri ospitalieri di San Giovanni in Gerusalemme. Il 21 dicembre del 1196 furono confermati all'ordine i possedimenti del tempo e futuri. Nel 1197 avrebbe dovuto aver luogo una crociata guidata dall'imperatore Enrico VI. Quando questi morì, i cavalieri che lo avevano preceduto in Terra Santa rientrarono, ma prima del rientro decisero di trasformare l'ordine in un ordine cavalleresco con compiti di protezione dei pellegrini. L'attività religiosa proseguì seguendo la regola dei Giovanniti mentre quella militare adottò la regola dei Templari. I teutonici avevano la tendenza a trascurare più punti di quest'ultima regola, ma nel 1244 papa Innocenzo IV concesso al loro maestro il diritto a modificarla sulla base delle necessità dell'ordine.