વડોદરાના મહારાજા શ્રીમંત સયાજીરાવ ગાયકવાડ દ્વારા આ પુસ્તકાલયની સ્થાપના ઇ.સ. ૧૮૯૮માં થઇ હતી. તે પહેલાં ૧૮૭૮માં 'સાર્વજનિક રીડિંગ રૂમ' નામનું નાનકડું પુસ્તકાલય શરૂ થયું હતું. ૧૮૯૮માં આ બંનેને જોડીને લક્ષ્મણ હોલમાં સંયુક્ત રીતે 'શ્રી સયાજી વૈભવ સાર્વજનિક પુસ્તકાલય' શરૂ થયું. ૧૯૦૭માં શ્રીમંત મહારાજા સયાજીરાવની સિલ્વર જ્યુબીલીની ઉજવણીના ખર્ચમાંથી બચેલ રકમને તત્કાલિન સુબા રાવ બહાદૂર ગોવિંદભાઇ હાથીભાઇ દેસાઇના અનુરોધથી મહારાજા સયાજીરાવે આ પુસ્તકાલય બાંધવા માટે ફાળવી હતી.ગોકળદાસ નરસિંહદાસ પારેખ, ખુશાલદાસ નરસિંહદાસ પારેખ અને રામદાસ શિવદાસ મોદીના વારસોએ બક્ષિસમાં આપેલ જગ્યા પર ૧૯૧૦માં રૂા ૮૧૦૦/-ના ખર્ચે પુસ્તકાલય બાંધવામાં આવ્યું. ૧૯૧૧માં આ પુસ્તકાલય વાચકો માટે ખુલ્લું મુકવામાં આવ્યું હતું. વર્ષો પહેલાં આ લાયબ્રેરીની એક શાખા બંદર રોડ (રાયચંદ રોડ) પર આવેલી એક શાળામાં પણ ચાલતી હતી.