有的说是女娲当年补天路过寿山，被这里的青山秀水、绮丽景色所陶醉，翩然起舞，将五色彩石散落在这里的山坡、溪畔和田野里，化成了这光彩夺目的宝石。有的说是远古一只凤凰神鸟的彩蛋液渗入寿山附近的地下变成了寿山石。
 
　　关于寿山石的生成，民间流传着许多美丽的传说。

　　陈长寿带着两位老者送的棋子挑起担子回家。走在路上不小心摔了一跤，手中的棋子散落了一地，说来奇怪，只见这些个棋子一个个立即都变成了五颜六色的石头，大石头又生出小石头，捡也捡不完。陈长寿一回到家里就将这事一五一十地告诉妻子。

　　于是他们夫妻每天都上山捡石头，挖石头。他们将捡到的石头拿到集市上去卖，不想被人一下子买光，得了不少钱，这样他们夫妇的日子就慢慢好起来了。此事一传十，十传百，没多久，附近的人都知道了，大家都上山去找石头，以后人们就将这座山叫寿山，把棋子变成的宝石叫寿山石。清代诗人朱彝尊写诗赞道：“天遗瑰宝生闽中”。

　　还有一种说法，说寿山这地方起初不叫寿山，是叫别的什么名字。这里附近住着一个年轻樵夫，名叫陈长寿。陈长寿自小喜欢下棋，且棋艺高超。有一天他上山砍柴，见两位白发老者正在山顶的一块大石头上对弈。陈长寿就挑着担子来到一旁观战。两位老者见这位年轻人看得如此聚精会神，似乎颇通棋艺，就邀他对弈。陈长寿也不推迟，就坐下来与两位老者交上了手。

　　虽然两位老者棋艺老道，不想却被这位年轻人连赢了几局。一位老者手捻长髯笑道：“真想不到凡间竟有这等好手，老夫佩服，佩服！”两位老者见长寿衣裳朴素，砍柴为生，颇为清贫，心存怜惜，就将所用棋子送给长寿，吩咐他今后不必再上山砍柴了，自有好日子过。说完只觉一阵清风拂面，已不见两位老者的踪影。