3000年前，浩瀚长江流经南京在城西一座山岗下绕城而过，形成了江流的拐点；也是在这里，南京的母亲河——秦淮河，注入了长江。因为依山傍江，这里成为了重要的码头，屯兵、积粮，很多商旅、文人，从江右到达江左便是在这里登岸；人们登岸后往往会在旁边一座山岗下休憩，这便是南京赫赫有名，用历史悠久、底蕴深厚的清凉山。但清凉山，其实只是一座小山岗（原本南京也没什么高山），面积不到1平方公里，海拔64米，属于典型的江南丘陵。
但是清凉山的名气却不小，这里有中国禅宗史上声名显赫的清凉寺，金陵四十八景的“清凉问佛”出于此处；清代金陵八家之首龚贤经常登临清凉台并在清凉山东北坡建有半亩园；清代桐城派大师姚鼐曾在此主持古崇正书院。此外，扫叶僧居住的扫叶楼，诸葛亮驻马观察南京山川地形的驻马坡，以及具有神奇功能的还阳并等历史古迹至今还在，因此清凉山正应了那句“山不在高，有仙则名”。
现位于南京城西广州路上的清凉山公园
最早让清凉山闻名的便是清凉寺。
清凉寺原址位于清凉山西南麓，现清凉山公园正大门西侧。清凉寺在南京佛教史上是一个颇有影响的寺庙，禅宗南宗五家七宗之一的法眼宗在此诞生。
清凉寺创建于唐中和四年 （884），五代十国时期杨吴顺义元年(921 )权臣徐温重建，改名兴教寺，请悟空休复禅师住持。南唐升元初(938) 元宗李璟扩建兴教寺为清凉大道场，礼请文益禅师住持。文益禅师也就是法眼宗的创宗者，俗姓鲁，原为浙江余杭人，7岁剃发,20岁受戒，于宁波习律，去福州漳州参禅，晚年受中主李璟敬重，迎至南京弘法，先居报恩院，后移清凉寺。为救“禅宗”疏之弊，他主张多读书以求“圆融”悟禅，由此创立法眼宗。此宗在宋初一度盛行，后渐衰落。但其再传弟子延寿曾收有36 位高丽僧人学法，此宗乃传入朝鲜。
明洪武三十五年( 1403 )周王朱橚重修山寺，成祖朱棣题额“清凉禅寺”。清凉寺在明代属于中等规模，明人，葛寅亮的《金陵梵刹志》中“清凉禅寺”将“清凉寺”列入三十一“中刹”之列，明代“大刹’仅有灵谷、天界、报恩三寺，其后有“次大刹”五座。由此可见，清凉山在明代的规模与地位。
太平军占领南京时对南京城内的文化胜迹进行了大规模毁坏，清凉寺也未能幸免于难。
到了上世纪 30 年代清凉山尚存清凉寺，但是大殿的陈旧，香客的稀落、香火的暗淡，香火远不如明代。21世纪后，政府在重建了清凉寺，再造佛像金身。
重建后的清凉寺
清理寺大殿
经历了近代数次战火的破坏，民国时期，清凉山周边的交通不太方便，到清凉山游玩需要攀登和走山路。因为清凉山靠近城区，周边有国立中央大学，金陵女大，因此很多才子佳人在休息日，喜欢到此游玩，其中也不乏寻幽访古之人，小说家张恨水便是其中的一个。
张恨水在《清凉古道》中写道：“我居住在南京的时候，常喜欢一个人跑到废墟变成菜园竹林的所在，探寻遗迹。最让人不胜徘徊的，要算是汉中门到仪凤门去的那条清凉古道。”
现在的山道，还是很幽静的地方
张恨水显然是很喜欢这条古道的，用他的文笔细腻描写了其中的景象：“有几户人家住着矮小得可怜的房舍……在清凉古道上，可以听到中山北路的车马奔驰声，想不到一望之遥，是那样热闹。……鹅卵石铺着的人行古道，两边都是菜圃和浅水池塘，夹着路的是小树和短篱笆，十足的乡村风光。路上有三五个挑鲜菜的农民经过，有一阵菜香迎人。后面稍远，一个白胡老人，骑着一头灰色的毛驴，‘得得’而来，驴颈子上一串兜铃响着。”张恨水所描述的民房，是没有错的。我小的时候，在驻马坡下的道路一侧，还有依山而建的低矮民房，有人在那里弹棉花，有人家在那里磨刀、补锅，旁边也有小块的菜地，种着青菜、韭菜。
总的来说，城西的清凉山在民国是冷清的，如朱自清先生所说：“清凉山在一个角落，但乎人济迹不多。”尽管如此，“扫叶楼的安排与豁蒙楼相仿佛，但窗外的景象不同。这里是滴绿的山环抱着山下一片滴绿的树;那绿后面色真是扑到人眉宇上来”（朱自清《南京》）。
清凉山上有清凉台，还有翠微亭。翠微亭在清凉山顶，登高望远，可以远眺长江。翠微亭原来是南唐李后主的避暑胜地，登上翠微亭，还能寻找到一些古意，想起曾经居住在清凉山半亩园的龚贤、在清凉山绘画创作的石涛等等。龚贤曾写到：“余家草堂之南，余地半亩。清凉山名，山上有台，亦名清凉台。登台而观，大江横于前，钟阜枕于后，左有莫愁，右有狮岭”。
