उस वक्त तक लखनऊ का प्रसिद्ध नवल किशोर प्रेस भी बंद हो चुका था. वह संभवतः भारतीयों द्वारा शुरू किया गया पहला हिंदी का प्रेस था. उससे पहले मिशनरी के प्रेसों में हिंदी में बाइबिल छपा करती थी. तो जब बिहार के इलाके में हिंदी को लेकर भूख जगी और छपने के लिए कोई प्रेस आसपास में नहीं था तो बलिया के महाराजकुमार रामदीन सिंह ने पटना में खड़ग विलास प्रेस की स्थापना की. 1880 में, जो 1926 तक चला. मकसद हिंदी के लिए पाठ्य पुस्तकें छापना था. रामदीन सिंह का ननिहाल पटना था, इसलिए उन्होंने प्रेस की स्थापना यहीं की. इसी प्रेस से साहबप्रसाद सिंह द्वारा लिखित पुस्तक भाषा सार का प्रकाशन हुआ जो पचास वर्षों से अधिक अवधि तक स्कूलों में पढाया जाता रहा.