Tháp nằm cạnh chùa Vĩnh Khánh (chùa Then), cách Hà Nội khoảng 150km. Tháp cao gần 16m, được xây dựng vào đời Lý - Trần. Tháp có 11 tầng, mỗi tầng có mái nhô ra. Lòng tháp rỗng, bệ tháp hình vuông mỗi cạnh là 4,45m. Tháp được thu nhỏ dần đến đỉnh. Tầng trên cùng của tháp mỗi cạnh 1,55m. Tháp được xây bằng gạch nung già, màu đỏ sậm, rắn chắc như sành, bệ tháp được xây bằng gạch vồ.
Mặt ngoài ở các tầng tháp ốp gạch mịn mặt, màu vàng sậm, hoa văn trang trí và đường nét rất tinh xảo, hài hoà tạo thành khối kiến trúc hoàn hảo ở mọi góc độ.
Trải qua nhiều thế kỷ, tháp đã bị nghiêng lệch và sụt lở một số chỗ và đã được trùng tu năm 1972, kiến trúc vẫn được bảo tồn như nó vốn có.
Chùa Vĩnh Khánh được xây dựng từ thời vua Tự Đức (1883), là ngôi chùa nhỏ trong không gian khoáng đạt. Phía trước chùa, gần tháp Bình Sơn có một cây đại cổ thụ, các nhà khoa học cho biết cây đại này đã có 500 tuổi.