明成化、弘治《嵊县志》均载：“谢仙君祠，在县北十五里游谢乡岩中，世传仙君谓灵运也。”按此说，谢灵运尝游于此，仙岩地名概由此而来。

　　《嵊县地名志》存另一说法：“据当地《积庆庵碑记》云：约1800多年前，有三仙弈于岩上，故名仙岩。”经访查，无此碑记内容可参。考清光绪敦本堂《灵芝乡王氏宗谱》载：“后即嶀山，高峰卓立，云霄叠嶂，下临无地。其中有棋坪石、仙人蹬、樵夫牧竖。往往见有仙人对弈云。”所记近似。

　　仙岩交通便捷，地理位置重要。明代成化间，仙岩已设邮铺，称“仙岩铺”，弘治间增建正厅、邮亭等。汤显祖于万历年间经仙岩，作《雨阻仙岩诘朝至新昌》诗存世。民国时，绍嵊公路省道自绍兴五云门外起至嵊县杉树潭止，途经仙岩。《灵芝乡王氏宗谱》尚有光绪甲申年郑骧撰《元占公传》言：“公与三仲兄去大山迁居仙岩镇。艺黍服贾，创建基业。”按此，则清时已设仙岩镇。