唐朝时期，有位名叫慧锷的日本和尚东渡求法，寄宿于文殊菩萨应化道场五台山。

有一天，慧锷见到一尊檀木雕成的观音佛像，心中一怔，连连赞叹，认为这尊佛像栩栩如生，将观音大士大慈大悲的神态全部雕刻了出来。按捺不住心中的欢喜，慧锷再三请求五台山方丈将佛像赠送于他。

慧锷得到观音像后，便启程回日本，准备建寺供养，让日本众生前来朝拜。当回程的船只途经普陀山海面时，突然刮起了大风，大风过后又升起了白雾，慧锷只能将船驶进普陀山的一个山岙里。

等风雾都散去后，惠锷遂起船东进，但没行多久，便停滞不前。海面上升起了朵朵铁莲花围住船只。惠锷大惊，跪于观音佛像面前祈告说：“如若日本众生无缘见佛，我定遵照大士所指方向，另建寺院，供养我佛。”

话音刚落，海面上便出现了一条航道通向普陀山的一个山岙里。惠锷深感观音不愿前往日本，便于普陀山建造寺院，供养观音。从此，这尊檀香木雕成的观音佛像就留在普陀山上。那座小庵堂，也被称为“不肯去观音院”。

来源：黄盖寺