这座铁塔的建造同一颗舍利有关，相传释迦佛舍利被古印度的8个国王均分，其中摩陀国中的一份在200年后被信仰佛教的阿育王所有。据说他将舍利分藏在8.4万个小塔内运送到各地，其中一部分传入中国。后来宋太祖赵匡胤得到后，就把佛舍利供奉在东京（今开封）的滋福殿中，后来又命人在城内开宝寺的福圣院中修建了当时被称为"京城之冠"的13层木塔,用作供奉，就是我国历史上有名的开宝寺塔。
从地理位置上讲，开封铁塔公园位于开封市城区的东北角归远门里原甘露寺东侧，是以现存的铁塔（开宝寺塔）而命名的名胜古迹公园，占地面积51.24公顷，是中国百家名园之一。
