El viaje al palacio se realizaba mediante el paso del puerto de la Fuenfría, que incluía en ocasiones pasar la noche o descansar en la entonces llamada Casa Real de la Fuenfría, posteriormente conocida bajo el nombre de Casa de Eraso o Casarás.