Fundado por Real Orden de 17 de octubre de 1755 por el rey Fernando VI en el Soto de Migas Calientes, cerca del río Manzanares, Carlos III ordenó el traslado a su situación actual en 1781, al Paseo del Prado, junto al Museo de Ciencias Naturales que se estaba construyendo (actualmente Museo del Prado), en Madrid, España.