Af Sveriges slotlsbygnader är det väl ingen som under senare tider låtit så föga tala om sig som Svartsjö.