1919年，上海名流居士关昼之、王与辑、沈辉等，发起组织上海佛教居士林。据1920年所拟定的“上海佛教居士林新行规约”规定，该社以“集在家善信，熏习佛法，力行善举，宏扬佛教，自利利他”为宗旨，所预备开展的事业有演法堂、图书流通部、莲社、放生会、布教团、阅藏室、编泽社、慈善布施团、博物院、俱乐部等十类。林组织成立后，推举王与辑为第一任林长，在爱文义路自建了演法堂、图书流通部等房舍，其他各种组织也逐渐建立。稍后，上海佛教居士林分为上海净业社和世界佛教居士林两个组织。世界佛教居士林于1922年8月于海宁路锡金公所成立新的林组织，其宗旨是“阐扬佛旨，昌明佛教，自度度他，庄严法界”首任林长为王与辑居士，稍后由周舜卿居士接任。    

居士林成立之初，就设有佛教阅览处，其目的是为了启迪民智，以佛化来增进民德、改良社会。到了1921年的“上海佛教居士林新行规约”中，阅藏室这一称呼就改成了图书馆。只是这一时期的图书馆规范甚简，“所藏经卷，仅系普通读阅之木”。图书馆大约有书报30多种，200多册。第一任图书馆主任为罗国安，干事为李衍庆、杨炳荣。1924年，世界佛教居士林进行第二届改选，孙志衡为图书馆主任。藏书来源主要依靠捐赠，其祈求捐赠启事经常发布于林组织所办的《世界居士林林刊》，其中以李经纬居士捐赠最多。此一时期居士林图书馆规模在缓慢地扩大。从1930年出版的第25期《世界佛教居士林林刊》文末所附之《本林藏经室图书馆志谢》中可以看出，当时图书馆已经开始希望社会捐助海内外佛学期刊，这说明当时居士林图书馆对普通佛教读物的需求已经不是很大，其文献需求已经上了一个层次。    

此后由于编辑体例原因，自第七期之后的《世界佛教居士林林刊》较少收录居士林内部消息，关于图书馆发展部分不能详知，只知刘达儒、李兆熙、李经纬此后分别任图书馆主任之职。进入20世纪30年代，居士林图书馆更加规范化，规模和影响也逐渐扩大，甚至远在北平的著名佛教学者周叔迎先生以及苏州弘化社均曾捐助佛教居士林图书馆经书。随着经书逐渐增多，原址显得狭小，不敷使用。此时，正好世界佛教居士林添建沿街一部分房屋，就作为图书馆新址。除了把原有经籍搬入新址，还进行了一番清理工作。至此，居士林图书馆“渐具规模”。1932年，一二·八事变发生后，居士林所在地沦为战区，世界佛教居士林图书馆之藏书本欲送至租界避难，但禁令森严，无法进入。日军进入上海后，局势十分混乱，为保护经籍，留守人员把频伽藏、大正藏、大正续藏三大部及各种善本搬移至四楼僻室储藏，才躲过一劫。此后，居士林图书馆也完善了规章制度。1933年2月出版的《世界佛教居士林成绩报告书》中记载有图书馆的七条规则，对图书馆的性质、读者读书时的行为规范、读者借书的数量等方面做了简单的说明。同时，所请求赞助的书籍范围进一步扩大，“或渊源国学，家珍秘二酉之藏，或浩瀚经文，法宝列三乘之典。无论名家撰述，古德泽传，举凡足为劝善惩凶，摧邪扶正之资料者”，都在征求之列。可见此时的世界佛教居士林图书馆正在稳步地向前发展。