北京語言大學圖書館成立于1962年，當時被稱為北京外國留學生高等預備學校圖書館。1965年，正式改名為北京語言學院圖書館。1969年北京語言學院撤銷，圖書館也隨之停止工作。1972年復校，圖書館恢復正常工作。1982年圖書館從教務處領導改為由學校直接領導，升格為處級單位。1996年6月13日更名為北京語言文化大學圖書館。2002年8月26日更名為北京語言大學圖書館。1992年5月新館舍建成，同年9月投入使用，新館建筑面積9870平方米。
為實現全校圖書資料系統的統一管理，2003年1月12日漢語學院、外國語學院資料室歸屬圖書館，并成立分館(語言區)。2004年6月4日人文學院資料室歸屬圖書館，成立分館(人文區)。
1962年建館時從北京大學、北京外國語學院、行政學院調來圖書約3萬余冊奠定了館藏基礎。1966年藏書量為8萬余冊，1974年藏書量為12萬余冊，1977年藏書量為20萬余冊，1980年藏書量為27萬余冊，1984年藏書量為42萬余冊，1993年藏書量為51萬余冊。1999年藏書量為60余萬冊。2001年藏書量為62萬余冊。2003年藏書量為76萬余冊(含合訂期刊)。2004年藏書量(全校)為80萬余冊(含合訂期刊)。2005年藏書量(全校)為83萬6千余冊(含合訂期刊)。2006年藏書量(全校)為86.9萬余冊(含期刊合訂本)，中英文電子圖書32354冊(其中北大方正電子圖書18694冊)。2007年總藏書量達到90萬冊。
北京語言大學是中國唯一一所以漢語國際推廣和對來華留學生進行漢語、中華文化教育為主要任務的國際型大學，同時對中國學生進行外語、漢語言文學、計算機科學、信息科學和金融學、會計學等專業教育，并承擔著對外漢語教學師資培養、培訓以及出國留學預備人員出國前的外言培訓工作。為此，圖書館的館藏建設方針是：以收集語言文字類文獻為主，兼顧文史哲類、金融類、信息科學和計算機科學類以及中華文化類文獻的收藏。圖書館的宗旨是：為各學科的教學與研究人員及學生提供完善的文獻保障和服務。