方斗山顶部较平，四周刀削斧凿，山坡陡峭，形如倒扣的方斗（农民挞谷用的挞斗），方斗山因此得名。对于方斗山的来历，有人说是神农氏为当地人们丰衣足食留下的玉斗，每年都有老农上山祈求神灵保佑来年风调雨顺；也有人说是玉皇大帝丢失的一只玉玺石化而成。
方斗山腰有一种似混凝土、当地俗称“癞巴石”的巨石(癞巴癞克是重庆方言)，其中有一块巨石重约500吨。当地人不知此石为何物，因而把它当作神灵，在此石旁修了癞巴石庙，定时前往烧香拜佛。特别是结婚后不久想生儿育女的妇女，更是信奉从中抠出一小卵石能怀孕生子。据考证，此类岩石距今已有400万年，是河床沉积砾岩，后来由于方斗山的凸起，免不了风化破碎，崩落下滑至山腰。
方斗山北缘有一直径6米左右、高达40至50米的石柱矗立，远看为一石柱，走近细看又似一巨人半身石像，头部的眼、鼻、口维妙维肖，当地人俗称奓跨石(方言)。登此石相当难，需要过人的勇气，必须绕行近200米的悬崖小道，爬过3道岩缝，最后还须奋力跨越深约50米、宽60厘米、两边无依无凭的深涧，方可登上这块类似比萨斜塔的巨石。
方斗山以前就有“一脚踏三县”的说法。旧时过往行人多，兼之前人在此建有五座古庙，游人香客不断，权属纷争也时有发生。为避免纷争，边民们在山上选了三条小山脊交汇处，立了一块既体现和睦相处，又体现地域属权的界碑。此碑呈三菱柱状，各面分刻县名，正中恰为交汇点。碑座呈圆柱形，碑匾、碑身均为19米高的三菱柱，碑顶为三个面的轿子顶，每面均刻“友谊碑” 三字，也叫”三县碑”。
