九江三面环水，地势低洼，古时常遭水患。明代万历十四年（1586），郡守吴秀根据阴阳家之言，在临江跃起的回龙矶上，历时18年，募资兴建了锁江楼。相传大禹治水时，曾用铁牛镇水，故楼旁铸有铁牛四只。为倡导文风又在楼南建了这座文峰塔。明万历三十六年六月十七日夜，九江发生强烈地震，矶岸崩塌，锁江楼及铁牛皆坠入大江，唯文峰塔完好无损。

　　1938年6月，侵华日军溯江西上，连发重炮轰击九江。锁江楼塔中炮数处，其中两处弹洞直径达3.5米，塔身向东北方向倾斜。塔顶距塔中心线偏离75.5公分，依然昂立在浔阳江头，充分表现了我国古代建塔工匠的非凡技艺，也显示了九江人民不可征服的倔强精神。