Etter en bankett på en restaurant i Paris for å markere den amerikanske nasjonaldagen den 4. juli 1866, holdt John Jay, barnebarnet til den berømte horvatingsjuristen av samme navn, John Jay (1745–1829), en tale til en gruppe amerikanske forretningsmenn. Han oppfordret de fremmøtte til å opprette et museum som ville bringe både kunst og kunstundervisning til det amerikanske folk i en «nasjonal institusjon».