嵊州吕氏始祖为吕规叔，就是鹿门书院的创办人。南宋淳熙元年(1174)，他从婺州(金华)迁居鹿门，创办鹿门书院，以养教乡里子弟为业。“凿山垒石一朝成，结构精庐三十楹”，鹿门书院很快建成，当年其侄祖谦就来书院讲学，叔侄共商办学事宜。鹿门书院为四合式二层建筑，檐廊相连，楼上东侧为“更庵楼”简称更楼；西侧是鹿门书院。南北两面各有拱券洞门，曾为入婺往来之通衢。其南门上书“古鹿门”，字大如斗。北门上题“贵门”两字，系朱熹之手笔。