图书馆成立于1949年,最初全部基础是从解放区带来的一马车印刷品资料。解放后到文革前,较重要的充实发展有两次。一次是解放初邱石冥教授陆续从北京等地搜集了一批国画原作,和教师进修参观带回的部分原作。第二次是1963年10月吕安未随刘文西去沪、宁、苏、杭、京、津等地收集的现代人物国画原作,兼收古旧字画、图书。经过“文革”往返搬迁,损失不少。图书馆工作恢复始于1972年,馆藏不断充实丰富。到1995年,馆舍面积已达到3500平方米,馆藏17.5万册,历代珍品700余件,有珍藏库、画库、书库、报刊室和专业阅览室几大部门。对借阅书刊加装磁条、开架阅览,实行现代化管理和服务。
图书馆名称曾多次改变。最初名为“西北军政大学艺术学院图书馆”。1957年8月音、美分校,改名为“西安美术专科学校图书馆”。1960年7月再次分校,开始更名为“西安美术学院图书馆”。1971年9月音、美合校,并为“陕西省艺术学校图书馆”。1980年4月学院恢复,附中图书馆并入后恢复为“西安美术学院图书馆”。
自成立到今,先后负责或任馆长者计有冯志宏、李静慈、马克明、王印全、杨学芹、张勇、孙登年、何克加、耿纪牢、刘保申、李百战、张立宪、赵农、张凌等。