વેસ્ટ પોઇન્ટ ખાતે, સ્ટુઅર્ટ સૌ પ્રથમ કર્નલ રોબર્ટ ઇ. લી સાથે સંપર્કમાં આવ્યો, જેમને 1852 માં અકાદમીના અધીક્ષક તરીકે નિયુક્ત કરવામાં આવ્યા હતા.