五台山原先并不叫五台山，而是叫紫府山，也称作五峰山道场。
最早，这里曾是道士们修行的地方。东汉时期天竺(今印度)高僧迦叶摩腾、竺法兰从洛阳白马寺来到五峰山一带，以天眼神通观此地，说这里原本是文殊菩萨的住处，兼有育王所置佛舍利塔。于是打算在这里建筑寺院，供奉文殊菩萨，可是当时遭到当地道士的强烈反对。
不得已，当朝皇帝汉明帝在洛阳白马寺举行僧道比法大会，结果当然是两位高僧获胜。从此，佛教界在台怀镇一带就取得了建筑佛教寺院的权利，所建的第一座寺院就是如今的显通寺。
从此，历经各个朝代的修建、扩建，以台怀镇为中心的寺院最多时曾达到360多座，直到今天还保留着100多座。因此，五台山也就以其佛教寺院历史悠久、规模宏大位于全国佛教四大名山之首。
传说远古时代的五峰山一带气候异常恶劣，常年酷暑，当地百姓苦不堪言，时逢文殊菩萨在那里讲经说法，见到黎民百姓的疾苦，深表同情，于是发大愿拯救百姓脱离苦海。
文殊菩萨装扮成一个化缘的和尚，行程万里到东海龙王那里寻求帮助。他在龙宫门口发现了一块能散发凉风的巨大青石，于是便把它带了回来。当他把那块大青石（东海龙王的歇龙宝石）放置在五峰山一道山谷里时，刹那间，那里一下就变成了草丰水美、清凉无比的天然牧场。
此后，那条山谷也被起名叫做清凉谷。人们在山谷里建了一座寺院，将那清凉石圈在院内。
为此，五峰山又名清凉山。
后来，隋文帝听说此事后，便下诏在五座山峰的台顶各建一座寺院供奉文殊菩萨。即东台顶的聪明文殊，西台顶的狮子吼文殊，南台顶的智慧文殊，北台顶的无垢文殊，中台顶的孺童文殊。在东台顶能看日出，西台顶能赏明月，南台顶能观山花，北台顶能望瑞雪。
