南京江面建设码头的历史最早可以上溯至东晋在老虎山一带建立的军用码头白石步。时至南宋有长江六渡之一的龙湾渡为交通漕运往来之所。
现代的轮渡运输则是迟至清末宣统二年（1910年）随津浦铁路贯通由浦口市场局于民间筹资开办，航线由老下关至浦口，称“关浦线”。
码头对面的下关电厂红楼，1949年4月23日中国人民解放军渡过长江占领南京，渡江部队即是在中山码头一带登陆，由挹江门进入南京城。此后中山码头与邻近的挹江门、下关电厂等成为纪念渡江战役的重要场所，更有市民建议把渡江战役纪念馆建在中山码头。
随着南京经济的复苏，作为当时渡江的唯一通道，中山码头运输较为繁忙。高峰期日航约150班次。1968年，南京长江大桥建成通车，轮渡的过江需求极大缓解，中山码头的客流量也迅速下降。特别是随着2004年南京北站（即浦口火车站）再次停运，轮渡过江需求进一步减少。
