东钱湖东面的下水溪口，一山自东南迤逦而来，突兀湖中，三面环水。水既清碧，山亦多姿，取'山灵水灵'之意，名为二灵山。北宋政和年间(1111年至1115年)，在山上建方形七层石塔，塔身每层四面皆精雕石佛。自元至清，该塔屡经兴废。1985年，重修二灵塔，复其旧貌。每当夕阳西下，余晖斜照，塔影倒映湖中，蔚为佳景。