Riddergården ligger idyllisk til på en tange der Randselva og Ådalselva møtes og danner Storelva, like nedunder Hønefossen. I dag inngår både Riddergården, Hønefossen og byen Hønefoss i Ringerike kommune i Buskerud, men da Riddergården ble grunnlagt fantes det enda ingen by rundt Hønefossen, og områdene her tilhørte under Norderhov herredskommune i Buskerud amt.