南宋潜说友《咸淳临安志》记载：南朝陈天嘉元年，有天竺僧人持辟支佛舍利来到杭州孤山建塔奉，这就是西湖有文字可考的最早的古塔--孤山永福寺（后来，又叫孤山寺，广化寺）的辟支佛骨塔。42年后，时当隋仁寿二年，灵隐寺前的飞来峰上建起了神尼舍利塔，这里瘗藏的是同州船若寺一位名叫智仙的尼姑的遗骨。据立，智仙处前曾留下遗嘱，让学徒在她圆寂后送遗骨来心仪已久的西湖飞来峰安葬。
不过，西湖早期的塔，大致上尚未突破作为佛教特有的墓葬形式的范畴，直至五代吴越时，塔才成为成熟了的西湖景物“构件”。这表现在，它们既不同于印度佛塔那种形式上的繁缛重复、伊斯兰教尖塔上的那种“灵性”的结构或哥特式尖塔所力图表现的超凡脱俗幻觉，也很少有宗教的象征主义和神秘主义色彩。它们以中华民族传统建筑的艺术语言，以其数学上的明朗性，给人以强烈的节奏感；以其适度的比例，精密的结构，给人以猛烈独立性和整体性有机统一的和谐感，以其孤高耸天，静穆安闲的势态，给人以伟大的崇高的美感升华。说得再具体一点，西湖古塔的美感性在于和佛寺组群、园林建筑、山色水光的统一上。 它们以突兀而出的竖向建筑，直插蓝天，从而打破了平缓的风景格局，成为胜景的重要标志物；它们显露雄姿倩影之处，往往是风景荟萃美不胜收之地，故尔使景观得以锦上添花，秀中出厅；它们既是赏景的目标点，又是赏景的出发点，所谓可观可登，正是西湖古塔与三面云山融为一体的“灵犀”所在。
