Selon la légende, un moine indien de haut rang, du nom de Hui Li arriva à Hangzhou,  s'aperçut que le paysage de cette montagne ressemblait beaucoup à une petite colline du pays du Bouddha, il crut alors que le maître fondateur du Bouddhisme, Sakyamuni, avait fait déplacer cette colline de L’Inde à Hangzhou. Il la nomma donc le pic de Fei Lai (arrivé en volant). L’ambiance paisible de la localité lui fit penser que c’était un endroit où se cachait l’âme des immortels. C'est pour cette raison qu'il fit construire le Temple Lingyin devant la colline.