જ્યારે આઇઝેક અને નેલી મેડિસન હાઇટે શેનાન્દોહ ખીણમાં મેનોરના ઘરનું નિર્માણ કરવાનું નક્કી કર્યું, ત્યારે વોશિંગ્ટન, ડી. સી. ના લગભગ 80 માઇલ પશ્ચિમ, નેલીના ભાઇ, ભાવિ રાષ્ટ્રપ્રમુખ જેમ્સ મેડિસન , સૂચવ્યું કે તેઓ થોમસ જેફરસનથી ડિઝાઇન સલાહ લેશે.