回雁峰上最著名是雁峰寺,梁天监十二年(会元513年),宏宣法师选回雁峰创建寺院,武帝萧衍赐名“乘云禅”。唐代改号为“山门寺”。明清之际建“寿佛殿”。抗日战争,衡阳蒙难,千年古刹,在劫难逃。
1964年,中南局第一书记陶铸视察衡阳,倡导修复,辟为公园,部分完工,遇“文革”而停建。1983年----1985年初,衡阳市人民政府重修回雁峰公园。景区有潇湘八景之一的“平沙落雁”;有衡阳八景之冠的“雁峰烟雨”;有金碧辉煌的雁峰寺,有雁城标志的雁雕;有凭吊王夫之的此君轩等二十多个景点。赵朴初、唐天际、周轻鼎、当代书法名家的翰墨精品荟萃,王勃、陈宗契等古代文人骚客的诗文,陶铸的散文《松树的风格》为景区增添了光辉和文化内涵。
整个景区设计合理,布局巧妙,施工精细,亭台楼阁与树木花草相得益彰,小径通幽,闹中处静。登上回雁峰,南望东州桃浪;北眺来雁,珠晖两塔;东瞰湘江如带,百舸争流;西看岳屏胜景,高楼鳞次,车水马龙,令人心旷神怡,留连忘返。