传说五台最早是道家的地盘，《道经》里称五台山为紫府山，曾建有紫府庙。《清凉山志》称佛教的文殊菩萨初来中国时，居于石盆洞中，而石盆在道家的玄真观内，这说明当时五台山为道家所踞。
    佛教最初传入我国时，只有少数人奉行。公元前二年，大月支国（原居我国新疆西部伊犁河流域的少数民族，西迁中亚后建立的国家）国王的使者伊存来到当时中国的首都长安（即今西安），他口授佛经给一个名叫景卢的博士弟子，这是中国史书上关于佛教传入中国的最早的记录。
    佛教传入五台山，普遍的说法是始于东汉。史籍记载，永平十年（公元67年）十二月，汉明帝派往西域求法的使者同两位印度高僧摄摩腾和竺法兰来到洛阳。
    永平十一年在洛阳城西雍门外御道之南，建造一座僧院以供主两位印度高僧居住。为纪念白马负经（《四十二章经》）输像（佛像）之功，因名白马寺。
    永平十一年，摄摩腾、竺法兰从洛阳来到了五台山（当时叫清凉山）。由于山里很早就有阿育王的舍利塔，再加上五台山又是文殊菩萨演教和居住的地方（相传峨眉山是普贤菩萨、普陀山是观世音菩萨、九华山是地藏王菩萨演教和居住的地方），他二人想建寺，但由于当时五台山是道教根据地，他二人颇受排挤，奏知汉明帝。双方达成协议——约期焚经，以别真伪（相传，焚经地点在今西安焚经台）。焚经的结果，道教经文全部焚毁，佛教经文却尚未完全烧尽，他二人获得建寺的权利。台内山多地广，河流纵横，何处建寺适宜？《清凉山志》载：“在大塔左侧，有释迦牟尼佛所遗足迹，其长一尺六寸，广六寸，千幅轮相，十指皆现”。相传他二人不仅发现此足迹，而且还发现有“舍利”，再加上营坊村这座山的山势奇伟，气象不凡，和印度的灵鹫山（释迦牟尼佛修行处）相似。由于这三种原因，故决定在此建寺。寺院落成后，寺以山名——灵鹫寺。汉明帝刘庄为了表示信佛，乃加“大孚”（即弘信的意思）两字，因而寺院落成后的全名，叫做大孚灵鹫寺。大孚灵鹫寺是现今显通寺的前身。从那时起，五台山开始成为中国佛教中心，五台山的大孚灵鹫寺与洛阳白马寺同为中国最早的寺院。
    南北朝时期，五台山佛教的发展出现第一个高潮。北魏孝文帝对灵鹫寺进行规模较大的扩建，并在周围兴建了善经院、真容院等十二个寺院。北齐时，五台山寺庙猛增到二百余座。到了隋朝，隋文帝又下诏在五个台顶各建一座寺庙。即东台望海寺、南台普济寺、西台法雷寺、北台灵应寺、中台演教寺。也因为五台山是文殊菩萨演教的地方，所以这五个台顶上的寺庙均供奉文殊菩萨，但五个文殊的法号完全不同：东台望海寺供聪明文殊、南台普济寺供智慧文殊、西台法雷寺供狮子文殊、北台灵应寺供无垢文殊、中台演教寺供孺童文殊。从此以后，凡到五台山朝拜的人，都要到五个台顶寺庙里礼拜，叫做朝台。此时，五台山之名已经大量出现在北齐史籍之中了。
    盛唐时期，五台山佛教的发展出现了第二个高潮。这个期间据《古清凉传》，全山寺院多达三百所，有僧侣三千多人。此时的五台山，不仅是我国著名的佛教名山之一，而且是名副其实的佛教圣地了，被誉为我国四大佛教名山之首。