林俊杰的成名曲是《江南》，很多人是通过这首歌才认识林俊杰的。2005年这首歌曲获得了CCTV-MTV音乐盛典年度最佳单曲、百事音乐风云榜港台十大金曲、第十二届中国歌曲排行榜港台最受欢迎歌曲等奖项。

《江南》是一首在节奏蓝调R&B中加入了富有中国风元素的洞箫与古筝，表达亘古不变的爱情观的特殊情歌。

林俊杰在创作这首歌的时候是先有了画面，后面才有了声音，由一部香港漫画《风云》有感而发，原本歌名叫《天下》，后改为《江南》。

当时的乐坛还没流行中国风，有人认为《江南》这首歌的实验性较强，不适应收录在专辑中。但在林俊杰的坚持下，收录在林俊杰2004年6月4日发行的专辑《第二天堂》中。最终《江南》火遍大江南北，取得了成功。