廟前殿祀無諸，后殿并祀無諸和夫人。后來傳說無諸的后代漢東越王余善在冊封臺東面山頂上向閩江垂釣時，釣到一條白龍，養在山嶺頂的一口井內。因此，釣臺被稱為釣龍臺，惠澤山改稱為南臺山，這段閩江稱為白龍江，俗稱臺江，山上的井稱為龍井，釣到龍的潭稱為龍潭。后來相傳有一和尚在龍井汲水，覺得十分沉重，提起來一看，桶中有條鐵鏈。這時天色大變，狂風暴雨，雷電交加，一條白龍騰空而去，因此山頂稱為龍嶺頂。

唐、五代以后，山麓江邊街市興起，稱潭尾街，宋代書法家米芾手書“全閩第一江山”石碑立于山麓，因此南臺山就有全閩第一江山的美譽。由于人們對閩越王廟的崇拜，南臺山到清代后又改稱為大廟山。

大廟山自古以來就是文人墨客登臨游覽懷古之處。元代詩人范德機有詠余善釣龍臺的詩曰：“海角釣龍人杳，云間待雁路迢。若為借得山頭石，每到高秋坐看潮。”更多的詩是登臨釣龍臺懷念無諸，如明初著名詩人王恭《題無諸廟》詩曰：“野廟大江畔，瀟瀟樹色寒。斷碑荒草蔓，畫壁古苔干。龍去春潮在，猿鳴海月殘。英雄那可問，東逝更漫漫。”可惜的是，閩越王廟于1922年因失火被燒毀。

如今，大廟山閩越王遺跡地已成為福州第四中學校址。米芾寫的碑文已遺失，后人陸某補寫了一個碑，現立在福州四中內。.現在尚存的遺跡除“全閩第一江山”石碑外，還有釣龍臺、釣龍井、登高石，而最重要的古跡閩越王廟還未重建。