Inspirado en otras colecciones particulares de similar escala, como la Wallace de Londres, Frick conformó su repertorio a lo largo de cuatro decenios y en 1913-1914 construyó para albergarlo una suntuosa residencia, diseñada por Thomas Hastings, cuyo coste sumando la compra de los terrenos alcanzó los 5 millones de dólares, cifra astronómica para aquella época.