钓鱼亭是为了纪念周朝宰辅姜子牙，曾在香山北麓江边垂钓而建造的。相传公元前11世纪，姜子牙帮助周武王灭商纣之后，有一天来到香山，看见香山临江而峙，山清水秀，顿生垂钓之念，一连几天都站在北边山脚下的一块大石头上垂钓。南宋名相邱崇是香山北面的邱家埭人，曾来此建造邱氏府邸，姜太公站过的钓鱼石被纳入了邱家花园。明太祖洪武三年，江阴侯吴良建造了钓鱼亭，亭内雕刻了江阴县丞贺子翚(huī) 的一副对联：“流水一曲众山皆响，渔歌八音万涧奔流”。遗憾的是钓鱼亭屡建屡废，那我们现在看见的这座亭子是2007年重建的。