韩信、彭越受封后，马上进军攻击项羽; 项羽的部将周殷也背叛项羽，跟九江王英布一道，跟随刘贾 (刘邦堂兄) 向垓下进发。

前202年12月，项羽仅剩十万疲惫不堪的部队，退到垓下驻扎。垓下在今安徽省灵璧县东南。韩信亲自领30万大军与项羽交锋，韩信部将孔熙、陈贺埋伏两翼，刘邦与周勃、柴武等率军接应。开始交战，韩信被项羽击退; 孔熙、陈贺发兵从两侧攻击楚军，项羽败退; 韩信回军反击，击溃楚军。

汉王几十万大军把项羽败军团团围住，包围圈有好几层。深夜，汉军高唱楚地民歌，传入项王营帐中。项羽大惊说： “难道汉王已经全部占领楚地了吗?汉军中为什么有这么多楚地人呢?”于是半夜起身，在帐中饮酒。他的爱姬虞美人陪伴着他。项王一身驰骋沙场，有一匹青白色的骏马，经常骑着。他望着美人战马，悲从中来，自己作了一首楚歌歌词，唱道：

力拔山兮气盖世，

时不利兮骓不逝。

骓不逝兮可奈何?

虞兮虞兮奈若何!

他反复唱了几遍。虞美人唱和道： “汉兵已略地，四面楚歌声。大王意气尽，贱妾何聊生!”据说歌舞之后，虞美人便拔剑自刎了。项王眼泪横流，左右的人都被感动流泪，没有谁能抬得起头来。这便是有名的霸王别姬故事。