在计划中的深水埗街市综合大楼设立公共图书馆，惟该馆未能满足区内人口所需，故提议在苏屋邨学校区一带增设一间公共图书馆。1976年10月，该委员会同意在深水埗区设立一间面积约500平方英尺的小型图书馆，并预计在1977-78年度启用。该馆选址定于深水埗元州街168-174号鸿裕大厦二楼，工程由工务司署负责。翌年8月19日，图书馆正式对外开放，惟开幕典礼延至9月1日举行，由时任市政局议员，图书馆事务委员会副主席何杨展翘主持仪式。1984年，市政局同意本图书馆迁至保安道市政大厦，以便增加藏书及新增视听资料图