Med det økende folketallet hadde og byen skiftet karakter, og Bjørset mente det var mer passende skolens behov å flytte til et mindre tettsted rundt byen. Skolen fikk to konkurrerende tilbud, men etter mye fram og tilbake falt valget på Holmestrand, og i juli 1899 begynte flytteprosessen. Det nye lokalet besto av tre bygninger, hvorav et ble brukt som internat. 1. september 1899 åpnet skolen under det nye navnet «Holmestrand offentlige døveskole».