由于山势俊秀，景色绝美，距离唐代长安城又近，所以吸引许多佛道修行人士前往清修、隐居，寺庙岩窟、山林水涧都可成为宗教道场；从汉代就有名人张良在此无量洞避暑，张良洞里隐居，北周时的法藏也在此修行，后有唐代许多高僧如道宣、楚金、飞锡、慧昭均曾在此地修行，亦有许多士子利用山上现有寺庙习业，与义学僧侣问学、切磋，学有所成则下山应试，或以隐居为成名资粮，终南捷径为士子入仕开辟另一途径，无论是真隐、假隐，紫阁山是当时士人所向往的好去处。
在唐代，曾到过紫阁山并以诗赞誉者就有李白、杜甫、韦应物、岑参、贾岛、张籍、白居易、邵谒、姚合、顾非熊、张籍、张蠙等人。宋朝有李騊、程颢、章敦等写多数诗描写紫阁。
