高椅原名渡轮田，在唐宋以前，是一处古渡，始为少数民族（南蛮）所僵。高椅村保存着明洪武十三年（1380年）到清光绪七年（1881年）间修建的民居104栋，建筑面积达19416平方米。这些古民居以“五通庙”为中心，呈梅花状外延分为老屋街、坎脚、大屋巷、田段、上下寨五个自然群落。西部俗称“老屋街”，主要为明早期建筑，北部俗称“田段”、主要为明晚期建筑，东部俗称“大屋巷”，主要为清前期建筑，南部俗称“田段”，分“上、下寨”，主要为清中晚期建筑。但由于种种原因，许多古建筑己遭到破坏，如“醉月楼”，“五通庙”，“入木三分”等具代表性的古建筑。有些内部以基本破坏，有些已被用作他用，有些甚至被完全改造。高椅村因发展滞后而得以保存，但也因发展而遭到破坏。
元代至大四年（1311）年，威远侯杨再思的五世孙杨盛隆、杨盛榜落居高椅村。
明洪武十三年（1380年）前后，杨盛隆的后裔在北樯山脚下兴业建房，逐渐发展成“老屋街”。明正统二年（1437年），一甲乡绅集资在老屋街村落北侧的出村道口上兴建了“一甲凉亭”。明代中叶（1450―1465年）在老屋街的东侧，全村的中心修建了后裔“五通庙”系道教神庙，始建于南宋末年（约1275年）。清乾隆年间再次扩建，将其修建成为一座规模宏大的神庙建筑专供村人祭祀礼拜之用（1980年毁）。
明代晚期（1506年）至清乾隆年间，杨盛榜的后裔又向村东、村北方向发展，在田垅里占地建房，形成“坎脚”和“大屋巷”两个建筑群落。乾隆末年杨廷秀的后裔在“五通庙”东侧修建了“一甲祠堂”。
清中晚期，随着人口的繁衍，建筑继续增多，形成了“田段”和“上、下寨”两个建筑群落。这个时期是高椅的鼎盛时期。无论是民居的兴建规模和兴建水平，都有较大的发展和提高。据调查考证，此期兴建了院落近200多处，美化更为讲究，石质材料已作为用与建筑对象，如大屋杨芳柏住宅就用了石料作院门梁柱，特别是田野小区环境建设的规划得到重视。如大屋塘，是六栋民居围成一个圆圈，在圆圈中央开凿了两口大鱼池（红鱼塘、黑鱼塘），周围有木质栏杆，池上空是葡萄架，不仅能优化环境，而且能发展庭院经济，又是附近的消防池，并对雨水排放能取到极好的吞吐作用。
清嘉庆初年（1796年），杨盛隆的后裔在下寨修建了“下寨家祠”，其过厅毁于1969年，正厅改作生产队仓库后，保存至今。
清嘉庆年间（1796-1820年），老屋街贡生杨盛之家塾三子，创办学馆。后三子杨跃楚拔贡，弃官还乡，继承父，开设学堂。题名“清白堂”。“清白堂”保存至今。据《绅衿录》统计表全村先后出举人3名、进士2名、贡生9名，其它廪膳生、秀才、干总等共计293名。
清道光二十三年（1842年），杨廷茂的后裔在“五通庙”北侧修建了“十甲祠堂”（毁于六十年代）。
清同治年间（1962一1875年），由大屋街富户方绅集资兴建了“醉月楼”，作为文人学士聚会及娱乐消遣场所，宣统初年（1909年）改办成女子学馆，从外地请来一老秀才讲学，由求学者（多为地主富豪之女）轮流供养。抗战胜利后，洪江兴办了洋学堂，女子学馆被废止。“醉月楼”保存至今。高椅的文化遗产、人文景观及自然景观丰富多彩，1998年6月公布为会同县文物保护单位；1999年9月公布为怀化市文物保护单位；2000年7月公布为湖南省文物保护单位；2006年5月公布为第六批全国文物保护单位。文物保护范围22.3公顷。前来考察的文物古建专家高度评价说：“高椅古民居是一部古村落发展建筑史书，对于研究中国封建社会后期南方社会基层结构的政治、思想、文化教育都具有重要的历史、学术价值”。被誉为“古民居建筑活化石”、“民俗博物馆”、“耕读文化完美典范”、“江南第一古村”美名。
