Раджа Махип Нараян Сингх оказался не способен к управлению своими владениями и в октябре 1794 года Ост-Индская компания забрала себе право сбора налогов в четырёх районах княжества. Радже была назначена компенсация, в сентябре 1795 года он скончался. На престол взошёл раджа Удит Нараян Сингх, оказавшийся таким же плохим управленцем, как и его отец. Он пытался вернуть конфискованные земли княжества, но в ответ компания взяла под своё контроль и оставшиеся владения Удита. В правление раджи в форте Рамнагар учредили традицию проведения многодневных театрализованных представлений Рамлила. После смерти Удит Нараян Сингха в 1835 году его сменил сын Ишвари Прасад Нараян Сингх, правивший до 1889 года. Он остался верен британцам во время восстания сипаев, за что в 1859 году получил титул махараджа-багатур (во время восстания ни в Варанаси, ни в форте Чунар не было зафиксировано случаев насилия по отношению к британским чиновникам и военнослужащим).