Senterets historie går tilbake til grunnleggelsen av Hjemmet for Døve på Nordstrand i 1898. Senteret ble senere oppkalt etter grunnleggeren Conrad Svendsen, en norsk prest som la ned et stort arbeid for å bedre de døves situasjon på slutten av 1800-tallet og begynnelsen av 1900-tallet.