相传印度孔雀王朝国王阿育王统治时期(前2世纪)，在波吒利费城举行了佛教史上规模最大的第三次结集，编纂整理经、律、论三藏经典，并派遣僧侣四方传播佛教，使佛教成为世界性宗教。
他还取出王舍城大宝塔阿阇世王分得的佛陀舍利，分成八万四千份，“令羽飞鬼，各随一光尽处，安立一塔。”在中国，共建造了19座舍利塔。 这19座舍利塔中，保存下来的唯一一座就是西晋会稽鄮县塔，即今浙江鄞县鄮山阿育王寺的舍利宝塔。
阿育王寺是我国现存唯一以阿育王命名的千年古刹。三山拥处，吉林参天，修竹蔽日，有世外桃源之感。加之四周翠岗蜿蜒，群陵起伏，称之为“六殊胜八吉样地”早在南宗嘉熙元年(1237年)，宋理宗就把其列为“天下五山之第二”。明洪武十五年(1382年)，被诏定为“天下禅宗五山之第五”。
传说释迦牟尼真身舍利仅有三颗，一颗在印度，一颗在北京，再有就是阿育王寺中的这一颗。阿育王寺僧尼众多，不收门票，香火旺盛！，到此顶礼膜拜的善男信女络绎不绝，是我见过最清净的佛门圣地，寺庙还免费赠送每人一份佛烛。少林寺等商业化的寺庙根本无法相比！
现在的大门是新建的，老山门已成危房，正在维护，阿育王寺四个字是江主席所题
阿育王寺现占地面积124100平方米，建筑面积23400平方米。寺内现存建筑大都为明、清时期重建、重修，纵轴线上的主体建筑山门、阿耨达池、天王殿、大雄宝殿、舍利殿、藏经楼由南而北递次升高，共分四进院落，附属建筑左右对称配立，拥有殿堂楼阁、轩院杂室666间（旧说）。寺之东西各有一塔，均为元至正年间重建的仿楼阁式、砖木结构的元塔。
阿育王寺有东西两大塔，西塔因为在山下又叫下塔，下塔建于元至正二十五年（1365年），砖木结构，仿楼阁式，六面七层，高约36米。是浙江为数不多的元塔。
