据《佛祖统纪》、《释氏稽古略》以及《普陀洛迦新志》等典籍记载，唐大中年间（或云五代朱梁贞明年间），日本慧锷大师到中土求法。在五台山中台精舍，见一尊观音像庄严无比，便想请往东瀛供养。慧锷一行携带圣像，准备搭乘便船回国。

快上船时，突然感到观音像变得特别沉重，在同行新罗（韩国）友人的帮助下，才将观音像搬上大船。船开到今普陀山附近时，又突遇狂风怒涛，洋面出现很多铁莲花，船进退维谷触礁，飘到普陀山潮音洞侧。

当夜，观世音菩萨梦告慧锷大师：“汝但安吾此山。”菩萨不肯东渡日本，想在普陀山“安家落户”。于是，慧锷把观音像安置在洞侧，礼拜祈祷而去。山上居民张氏目睹此异，将圣像请回自己腾出的住宅中供奉，被称为“不肯去观音”，意为观音菩萨不肯去日本，选中了普陀山作为显化道场。

自从菩萨来此，普陀山香火延续千年，至今，该山仍有一座“不肯去观音院”。