从王家园林到名家书院，再到祇园佛寺，光孝寺不仅仅是一座佛刹，还承载着羊城丰厚的历史文化，衍生出很多动人的故事。

光孝寺为岭南佛寺首刹，故旧相传“未有羊城，先有光孝”，体现了其在广州人心目的地位和古老程度。光孝寺寺名出现较晚，直到南宋才确立。就如支流密布的长江黄河一样，光孝寺事实上并非一个寺院，而更像是一个寺院群，主要源头有两个，即制旨寺、王园寺，直到北宋时期才由二寺合成一寺。

光孝寺之所以古老，最主要的是由于其前身为越王赵建德之故宅，故后来号称“王苑”或“王园”，变成寺院之后称为“制旨寺”和“王园寺”，同样是因为其早期的政治地位。魏晋南北朝时期，广州是一个海滨城市，建德园就在城西海边，其标志建筑还有一个潮亭，是观海望潮的名胜，因此后来寺院名称带有“潮亭”，后世史料又讹为“朝廷”“朝延”之类。“制旨”，后来又变为“制止”，佛教禅修的意味更加深厚了。或别称“白沙”，大约是因其地处海滨、遍地白沙而名。亦因其中后来遍植苛子树，称为苛林。

赵建德为南越明王赵婴齐之长子,其母橙氏是南越橙姓,称为“揭阳橙女”，为当地植橙世家之女，赵婴齐在建元六年（前135）前往长安当人质之前娶她为妻，生长子赵建德。后来，婴齐在长安为质子之时，又娶邯郸樛氏，生子兴。

元狩元年（前122），赵昧去世，婴齐继立为南越王，他在即位之后，没有依照惯例立其妻橙氏为王后，而是立樛氏为王后，这显然是为了讨取汉武帝的欢心，表示他不忘旧恩。子以母贵，既然樛氏为王后，其子兴也顺理成章地成为王太子。而作为长子的赵建德只被封为术阳侯，远离了权力中心，且居于王城之外。

后来南越内乱，王太后樛氏与越王主张内附，丞相吕嘉反对，双方最后矛盾激化，吕嘉杀死王太后与越王兴，另立赵建德为王，与汉室公开决裂。南越当然不是汉朝的对手，最后汉军五路南下，吕嘉和赵建德逃亡被抓，身死非命。

赵建德始终是一个悲剧人物，身为长子却不能立为太子，是第一个悲剧，被吕嘉立为越王、实为傀儡，最后受牵连而死是更大的悲剧。然而他还是留下了一个王家园林，后世成为佛刹，也算是他的一大贡献，留芳千载，亦为不幸中之大幸事了。

西汉时期佛教尚未传入，到了东汉三国时期，佛教才从陆海两路传入中国，其中广州是海路传法的中枢。吴国大将虞翻文武全才，然而生性刚直，数次得罪孙权，终于延康二年（221）被贬交州。他在交州南海，居建德园，多植萍婆、苛子，号称虞苑，亦名苛林，他虽然得罪流放，却讲学不倦，门徒数百，将虞苑变成了一个书院，也是岭南最早的文化中心。