吴国石城驻军离襄阳七百多里，常常侵扰边境。羊祜深以为患，于是巧用计谋，使吴国撤销了守备。然后羊祜他把军队分作两半，一半执行巡逻戍守的军事任务，一半垦田。羊祜刚来时，军队连一百天的粮食都没有，后来，粮食积蓄可用十年。羊祜的这些措施迅速地安定了荆州的社会秩序，增强了军队的战斗力。晋武帝为表彰他的功绩，下令取消江北所有的都督建置，授予羊祜南中郎将的职务，负责指挥汉东江夏地区的全部军队。不久，羊祜又被加封为车骑将军，并受到开府如三司之仪的特殊待遇。
泰始六年（公元270年），吴国的荆州都督为著名军事家陆抗。陆抗注意到西晋的动向，立即上疏给吴主孙皓。陆抗的到来，引起羊祜的警惕和不安。因此，他一面加紧在荆州进行军事布置；一面向晋武帝密呈奏表。密表建议，伐吴战争必须利用长江上游的便利条件，在益州（今四川地区）大办水军。泰始八年（公元272年）八月，吴主孙皓解除西陵（今湖北宜昌）督步阐的职务。步阐因害怕被杀，拒绝返回建邺，献城降晋。陆抗闻讯，立即派兵围攻西陵。晋武帝命令羊祜和巴西监军徐胤从东西两面分散陆抗的兵力，以实现由荆州刺史杨肇直接去西陵救援步阐的计划。但陆抗破坏了江陵以北的道路，5万晋军粮秣的运输发生困难，再加上江陵城防坚固，不易攻打，羊祜屯兵城下，不能前进。杨肇兵少粮悬，被陆抗击败，步阐城陷被诛。羊祜因久远失利被贬为平南将军，他总结教训认识到：吴国的国势虽已衰退，但仍有一定的实力，平吴战争不宜操之过急。于是，他采取军事蚕食和提倡信义的两面策略，以积蓄实力，瓦解对方，寻找灭吴的合适时机。
羊祜挥兵挺进，占据了荆州以东的战略要地，先后建立五座城池，以此为依托，占据肥沃土地，夺取吴人资财。于是，石城以西均为晋国占有，吴人来降者源源不绝。羊祜于是实施怀柔、攻心之计。在荆州边界，羊祜对吴国的百姓与军队讲究信义，每次交战都预先与对方商定交战的时间，从不突袭。有部下在边界抓到吴军两位将领的孩子，羊祜知道后，马上命令将孩子送回。后来，吴将夏详、邵颉等前来归降，那两位少年的父亲也率其部属一起来降。羊祜的部队行军路过吴国边境，收割田里稻谷以充军粮，每次都要根据收割数量用绢偿还。打猎的时候，羊祜约束部下，不许超越边界线。如有禽兽先被吴国人所伤而后被晋兵获得，他都送还对方。羊祜这些作法，使吴人心悦诚服，十分尊重他，称“羊公”。羊祜与陆抗对垒，双方常有使者往还。一次陆抗生病，向羊祜求药，羊祜马上派人把药送过来。吴将怕其中有诈，劝陆抗勿服，陆抗不疑，仰而服下。羊祜在边境，德名素著，在朝中却每遭诋毁。他正直忠贞，嫉恶如仇，毫无私念，因而颇受荀勖、冯紞等人忌恨。
咸宁二年（公元276年）十月，晋武帝改封羊祜为征南大将军，恢复其贬降前的一切职权，开府仪同三司，可以自行辟召僚佐。当时伐吴条件已具备，而且吴将陆抗已病逝，羊祜上书灭吴，但因秦、凉二州少数民族叛乱，平定叛乱再上书伐吴时，因朝中多数权臣的反对，未能实现。
其后，晋武帝因羊祜功大，以泰山郡南武阳、牟、南城、梁父、平阳五县为南城郡，封羊祜为南城侯。两年后羊祜病倒，回到洛阳，仍向晋武帝面陈灭吴之计，晋武帝令羊祜带病领兵出征。后羊祜患病加重，他推荐有军事才干的杜预接替自己，不久过世。羊祜临终前，叮嘱亲属不得将官印入柩，不得修陵寝。羊祜死后，堂弟羊琇按其意愿要葬于故里祖墓之侧。晋武帝念其功高，且赐给离城十里外近陵葬地一顷，追赠侍中、太傅。羊祜一生虽身居高位，但立身清俭，他的不朽业绩和高尚的品格将永远受到世人传颂。