考嵊州图书馆藏清代光绪壬辰年重修的永思堂《剡北桐亭李氏宗谱》残谱一卷,其中的谱序有这样的记载:“李氏系出南宋庄简公,向居虞之五夫,后十世孙起嵩公览山川之形胜、景名贤之遗踪,迁剡北谢车骑之故址桐亭居焉……”、“庄简公十世裔孙游剡之桐亭,相度于此,宅幽而势阻,因卜筑焉,遂锡名李墺。”可知李岙村李氏先祖系宋代名臣李光(谥号“庄简”),李光居上虞五夫;其十世孙李起嵩于南宋景炎年间避元兵之祸而迁居于李墺,距今已700余年。
“墺”,本义可以定居的地方,浙江一带称山间平地。按照李氏宗谱所言,李岙村因宋代李光后裔李起嵩选择东晋车骑将军谢玄故宅“桐亭楼”遗址而定居,始称“李墺”,后改为“李岙”。