建安十三年十二月（公元208年），孙权打开扬州战场，亲率大军北攻九江郡的合肥，张昭率军袭击九江郡的当涂（详见第一次合肥之战）。
孙权围城百余日，雨下不止城墙将倒，城中以刘馥生前所积累物资修补城墙，张喜援军迟迟不到形势十分危急，蒋济派人送信到合肥诈称步骑四万已到雩娄，被孙权军截获，孙权烧毁攻城设备撤军，张昭也攻击不利。
建安十四年三月（公元209年），曹操回到家乡谯，建造轻舟，治理水军，七月，曹操征讨孙权，反攻庐江郡，从涡水入淮，出肥水，军队先驻扎合肥；与此同时，盘踞庐江郡的雷绪、陈兰、梅成等地方势力起兵反叛，曹操军入巢湖，攻破居巢，曹操命行中领军夏侯渊都督诸将进剿雷绪，虎威将军于禁、威虏将军臧霸等讨伐梅成，荡寇将军张辽、平狄将军张郃讨伐讨陈兰。臧霸另派遣至皖城，征讨吴将韩当，使孙权不得救梅兰。臧霸在逢龙，夹石击退了韩当所派的援军，臧霸还军屯舒县（周瑜的家乡）。 挤热火www.jirehuo.com
孙权遣数万人乘船屯舒口，分兵救梅兰，听闻臧霸军在舒，遁还。臧霸连夜追赶，到第二天，行军百余里，前后夹击。孙权军困窘焦急，没有来得及上船，很多人跳到水中逃走。于是孙权没能救得陈兰，陈兰被张辽攻破，陈兰、梅成被斩杀，雷绪率领数万部曲逃往荆州投靠刘备。
曹操征讨孙权于濡须口，臧霸与张辽为前锋，行军遇霖雨，大军到时江水暴涨，孙权船只稍稍前进，曹操将士都心中不安。张辽准备擅自退走，臧霸止他说：“曹公对战事利钝明了，怎么会把我们抛弃？”第二天果然有军令。张辽将臧霸的话告诉曹操。
曹操称赞了臧霸，拜臧霸为扬威将军，假节，曹操写信给孙权，称“赤壁之役，值有疾病，孤烧船自退，横使周瑜虚获此名。”后孙权乞求投降求和，建安十四年十二月（公元209年），曹操在濡须口不能取胜，又得知曹仁从江陵败走，于是撤军回谯，留下臧霸与夏侯惇等屯兵居巢，使张辽与乐进、李典等率七千余人屯兵合肥。孙权在濡须口不听孙瑜持重的建议，出军没有取胜，迁孙瑜为奋威将军，继续担任丹阳太守。
