Присъединява се към Кайзерлихе Марине през 1879 г., а към 1907 г. вече е капитан на линеен кораб. Назначен е за началник-щаб на Флота на откритото море под командването на Хенинг фон Холцендорф през 1910 г., а от 1913 г. е командир на бойна ескадра. При избухването на Първата световна война, той насърчава използването на подводници и добива известност като подводен стратег. Въпреки това, той надценява силата им и оставя лошо впечатление у неутралните по това време САЩ. Той планира подводни нападения срещу британски пристанища, използвайки кораби на повърхността като примамка, докато подводниците чакат от засада пристигането на британските кораби. На Шеер е поверено командването на военноморския флот през януари 1916 г. Той се надява да предизвика стратегическо разцепване на числено превъзхождащия го британския флот, което би му позволило да го унищожи. Внимателното планиране комбинирано с доза късмет събира флотовете на двете сили в Ютландската битка (31 май - 1 юни 1916 г.). Това е единствената голяма военноморска битка през войната. Макар че британският флот не е разделен и числено превъзхожда германците, маневрите на Шеер в крайна сметка спасяват германския Флот на откритото море от унищожение. Самата битка е със спорен резултат и за двете страни.