Selby, der 1809 var blevet kammerherre og 1815 generalkrigskommissær, døde på Güldenstein 15. marts 1823. Han skildres som en dannet og kundskabsrig mand, i besiddelse af stor energi og arbejdsdygtighed samt af et trods hans engelske fødsel udpræget dansk sindelag, hvilket særlig viste sig under begivenhederne 1801 og 1807. Ved hans død gik Orupgård over til hans ældste søn, Charles Borre Selby, hvorimod den yngre, Nicolaus, arvede godserne i Holsten.