相传古时黄帝曾于此山藏书。武陵人善卷因避舜帝禅让，隐于此山守护黄帝藏书，并以之教化当地百姓。周朝时，周穆王又在此山中收藏异书。秦始皇执政，焚书坑儒，博士官伏胜偷运禁书五车，藏于山半石洞，直至秦亡，才拿出来献给汉高祖刘邦，终于保住春秋诸子百家不致断绝，为延续中华五千年文明立下不可磨灭的功勋。二酉山藏书功德，厚重千秋，被历代文人墨客视为天下名山而敬仰崇拜。宋真宗年间，辰州通判欧阳陟游于此山，感慕追思善卷之德，上书真宗皇帝赵恒，请建祠庙祀善卷，以示崇德报功之意。真宗皇帝准奏，下旨在二酉山顶为善卷建立祠堂。明朝时，辰州卫人董汉策、王世隆，分别自费在山中建翠山、妙华书院。抗日战争期间，湘府迁沅陵，来此避难的专家、教授不计其数。乌宿小学校长龙盛恒籍此机会，聘请其中深孚众望者执教小学生，为乌宿人才教育奠定了坚实的基础，以致新中国成立后，二酉山人才倍出，成为闻名全国的教授村。