Hijo del oficial bávaro Walther von Ruffin y su esposa Olga von Maffei, estudió entre 1911 y 1917 en el Gymnasium de Wurzburgo y luego, hasta finalizar los estudios medios, en el Wilhelmsgymnasium de Múnich.