传说吴承恩为创作《西游记》，到此寻访玄奘行迹，被青龙山的奇峰怪石和秀美景色所吸引，加之这里具有深厚的佛教文化，他在这里居住多时收集了大量的创作素材。至今在青龙山流传的大量民间传说故事都是《西游记》中的故事原型。近几年在慈云寺附近还发现了门口时闭上刻有“吴”字的石窑遗址。