从红山顶上沿山势走向向东眺望，有一条石头山从博格达山峰蜿蜒西下，一直延伸到乌鲁木齐河边，山脉突断，山头矗起, 恰似巨龙昂首。正因为红山峥嵘险峻，又是博格达山的一部分，再加上传说神奇，所以红山一直被人们视为圣地，当地人们把它作为遥祭博格达山的地点。也正如此，虽然红山的海拔只有910.6米，相对高度也仅60米，但它却是现代乌鲁木齐的标志和象征。
从公园东门进去，爬上一段短坡，花丛之中，是一幅雕塑——双鹿迎宾。红山的“镇龙宝塔”，现在依然矗立在红山嘴上，只是断崖下面奔腾的乌鲁木齐河，早已踪迹难觅，取而代之的是一条宽阔的公路——河滩快速（国道216）。
林则徐纪念像的西面和南面，是红山断崖，或称红山嘴。在蒙古语中，红山嘴被叫做巴拉哈达，巴拉，是老虎的意思，哈达，则是山石的意思，因此，红山嘴又叫虎头峰。
红山塔原是一座青灰色的楼阁式实心砖塔，共九层，平面为六角，由塔基、塔身、塔刹三部分组成。整个塔高10.5米，塔基高1米，塔基六角每边边长2.2米，塔身每级间高约0.9米。砖塔建筑结构严谨，造型美观，建造得相当坚固。
200多年来，经历了塞外风雪侵袭和多次强烈地震的摇撼，红山塔依然完好无损，巍然屹立于红山之上，“塔映斜阳”也成了乌鲁木齐著名的旧八景之一，清代诗人宋伯鲁有诗赞红山塔：“流水马声双槛外，夕阳塔影两山尖。”
