Kaptein Selmer pantsatte i 1828 Tyveholmen til slottsbygningsfondet for tusen speciedaler, og slottet overtok eiendommen. Fra 1828 ble det arbeidet med planer om slottsbrygge på stedet, men planene ble ikke satt ut i livet.