潘了拳一生留下许多许多神奇传说故事，下面是其中的一二：
相传潘了拳出世时，左手抱拳不张，其父取名为“拳”。三日后，恰好有一僧人过其家门，其父抱潘拳示僧，小潘拳啼哭不停，十分可怜。僧人细细审视之后，连声念“阿弥陀佛”，取笔在潘拳手背上写一“了”字，拳即张开，遂又取名“了拳”。潘父欲谢僧人之恩，僧人不受。其时祥云盖顶，金光万道仿若神佛降世，并说：“此儿长大后必有长进，要好好照料。”临别时婴儿对他莞儿一笑，僧人道：“十七年后再见。”又说：“他会在阴那山五指峰开基、造化得道。”说罢而去。
据说，他在童年时期就曾显神通，有一次，他对几个牧牛的小伙伴说：“你们想到外地去游玩吗？”大家都说：“好”。了拳便以一竹叶在地上划了一个圆圈，让这些牛在原地不动。又说：“你们闭着眼睛，跟我一起走。”说罢，这些小伙伴真的到外地游玩去了，大家心里乐滋滋的。游玩几日回来时，了拳问小伙伴，“你们看看牛儿吃得饱吗？肥吗？”果然还是在划定的圆圈里面，照样吃得饱饱的，长得肥肥的，因此大家都感到很神奇。
潘了拳十七岁出家为僧，离开福建，来到广东省大埔县赤洁寺住了半年之后，又到三河坝手指村高礤寺拜师，并下决心再度出游访胜。一日，他西望梅县阴那山五指峰，有如拳伸五指，直插云端，观此处森林茂密，千峰环绕，碧水萦回，便决心到五指峰下结茅修行。阴那山当地有两种特有水生物“片生熟鱼”和“无笃螺”的来历也据说和潘了拳有关。
据说当年在庵里做工的人，从溪中捕到鲜鱼，正在厨下煎煮，适为潘了拳发现，了拳和尚认为杀生有犯僧戒，即劝工人将锅里正在煮着的鱼铲起放回溪中，而已煎煮一面的鲜鱼居然起死回生，相传繁殖。鱼身两面，一面呈白色，和普通的鱼一样；另一面则为赤色，俨如经过锅里煮熟后的色泽一般。可惜这种半边白半边赤的小鱼由于人为捕捉在阴那山小溪中很难见到了。（注：片生熟，是客家方言，意即“半生半熟”。）
还有一次，适有十方善信来寺进香，拾得溪中石螺作为佐菜。他们把螺敲去尾部后，正要下锅之际，被潘了拳发现，步前正言说“信佛人要戒杀生”，善信遵听奉劝，便将石螺放回溪中，繁衍至今。从此，无笃螺成阴那山的一种富有特色的水生物。（注：“无笃”是客家方言，意即没有尾巴。）
潘了拳在阴那山修行20多年，为当地人民祈福禳灾，功德无量。但他感到自已不能弘扬佛法，心中实为内疚，自号“惭愧”。49岁坐化之时，遗下一偈云“四十九年，无系无牵。今朝撤手归空去，万里云开月在天。”他圆寂后，人们尊称其为“惭愧祖师”。
潘了拳去世后，后人将茅屋改为砖瓦建筑，他的弟子欲刻师父的像。但当时还没有照相技术，其生前又未留下画像，虽然聘得高手匠人，亦无从下手。据说，一天中午，匠人在似睡非睡之中，见一老僧来到面前，对他说你欲刻祖师的像，看看我就可以了，匠人正欲多看老僧几眼，忽起一阵清风，老僧不见了，匠人惊醒过来，随即拿起刻刀，回忆梦中所见老僧相貌，一刀一刀的刻下下来，寺中老和尚见了，说果然活像祖师。此后，惭愧祖师便在圣寿寺登殿，受善男信女膜拜，承受人间香火。
了拳逝世后，也屡显灵异。有一年，有潮州人士慕名到阴那山拜谒祖师，私下将真身塑像带往潮汕祷雨，事后，迟迟不愿归还寺殿，两地与之讼争，等到州官下判，把塑像放在船上，对塑像说，如祖师欲留，则当顺流而下，否则当逆水而上。话语未完，其舟果然逆流而上，争端遂了。
潘了拳创建的灵光寺也有两件不解之谜：
第一：灵光寺大雄宝殿后面山上绿树繁荫，但大殿屋顶上却没有一片树叶，这究竟是什么原因？至今没有答案。
第二：建寺之前潘了拳亲手种了两棵柏树，树龄达一千一百年以上，现在这两棵柏树一生一死。生者高30多米，枝繁叶茂，傲然挺立；那株枯死的已死了三百多年，却与生的那株几乎同样高大，枯死而不腐不朽。这两棵树被人称为“生死柏”。众所周知，广东省气候潮湿，何以三百年前的死树历经风摧雨打，日晒雨淋却不腐不朽？
