至元二十一年（1284）正月，在建陽朝天橋（水南橋）橋南頭，?出現一個賣卜小攤，掛一塊“依齋易卜”的小牌子。攤主身高不過五尺，左目重瞳，大口美髯，氣度軒昂。起初百姓覺得此人出語不凡，行徑古怪，卻不清楚他的來歷。后來才知這位賣卜者就是鼎鼎有名的南宋遺臣、愛國志士謝枋得，人稱疊山先生。

謝枋得(1226～1289年)，字君直，號疊山，別號依齋，江西信州弋陽人，南宋進士，任六部侍郎，帶領義軍抗元，兵敗隱居建陽唐石里。宋祥興二年（1279），文天祥兵敗被捕。這年二月六日，陸秀夫背幼帝蹈海殉國，大將張世杰亦投海自盡。消息傳到唐石里，疊山痛不欲生，感嘆大勢已去，回天無力，身穿麻衣、草鞋，向東而泣，藉以悼念已亡的宋朝。

在唐石里，疊山終日過著“朝遷暮徙，崎嶇山谷間”的生活。在奔波逃亡之中，他有家不能歸，身為人子不能盡孝，心里悲痛萬分，曾吟《春日聞杜宇》絕句一首，把思鄉情緒寫得纏綿往復，難解難斷：

杜鵑日日勸人歸，一片歸心誰得知！

望帝有神如可問，謂予何日是歸期？

謝疊山決不做元朝的順民，在唐石里曾拜訪潭陽七賢熊禾。兩人一見如故，共斥南宋的昏暗和大臣們的賣國求榮之行徑。

元朝大赦天下后，疊山始移居建陽三桂里考亭，白天在朝天橋頭賣卜為生。邑人陸續知道他就是南宋遺臣謝疊山，肅然起敬。潭陽學子陸繼找他求學問道，有的人還請他到家中為子弟講學。疊山有一度曾在莒口講學，到云谷尋訪晦庵草堂，還曾出游書坊。書坊《書林十景》中的“書林文筆”存有疊山贊嘆書林盛況的兩首詩。