Han var professor og direktør for de etterkristne orientalske samlingene i Kaiser-Friedrich-museum i Berlin. Sarre utførte flere betydningsfulle forskningsreiser i Lilleasia, Mesopotamia og Persia. Sammen med Ernst Herzfeld har han utført omfattende utgravninger i det abbasidske kalifsetet Samarra i Mesopotamia; sammen med svensken Fredrik Robert Martin la han planen til den store orientalske kunstutstillingen i München 1910.