《剡西秦氏宗谱》重修谱序记载:“唐天宝末,讳系字公绪者,避乱会稽,遁迹于桃源乡。其九世孙讳亿,拓业构楼,名曰秦高楼。厥弟讳佻,任临彰令,后改绍兴密推,遂占籍焉,为会稽人。”世系谱序称:“唐讳系,字公绪,天宝末避乱来剡溪之白石山下,植松柏百余,结松而处,览翠而乐。客于泉州之南安,号南安居士,不知所踪。其九世亿,拓业构楼,厥名始彰,名为秦高楼。”
而《会稽秦氏宗谱》(始祖世系图)则记言:“隐君讳系,字公绪,会稽人。明经赡学,以道自娱,有诗名于天下。郡邑之大夫嘉其贤,保奏屡辟不起。尝结庐泉州南安九日山,穴石未砚,注老子。天宝末,避乱来遁剡之桃源乡黄泥山之阳,结楼三间,为栖息之所,览翠自乐。后人重之,号九日山,曰高士峰,以楼名其里,咸曰秦楼村。”
按秦氏宗谱所记,剡西秦始奉秦系为始祖。其后裔秦亿在剡之桃源乡构筑高楼,名曰秦高楼。后因秦氏聚居于此,亦称秦家楼。《民国嵊县志》(卷二·建置志·都里)桃源乡下有秦家楼之地名。又据《古剡尹氏宗谱》记载:“尹氏自和靖太祖致仕居越,五世祖仲亨始迁剡之城。十一世派分弼公、宏公。弼公次子阳公,前明初又迁秦家庄,今为尹家庄。”故秦家楼旧址在桃源乡,即今之甘霖镇尹家村。