隋军在长江上游作战获胜后，杨素一面率主力沿江东下，与秦王杨俊会师于汉口（时下游隋军已攻占建康），一面派兵南下略地，扩大战果，为隋进军岭南准备了前进基地。
还军后，杨素因战功卓著被进爵郢国公，邑三千户，真食长寿县千户。平定江南后，杨素辞谢回朝休养诏令，坚持除恶务尽，连续追歼彻底平定江南之乱，对巩固隋朝统一，发展生产具有积极作用。
杨素“多权略，乘机赴敌，应变无方”（《隋书•杨素列传》），同时治军严整，其部下如有违犯军令的，立斩不赦，而绝不宽容。每次作战前都寻找士兵的过失，然后杀之。每次多者百余人，少也不下十几人。由于杀人过多，以至“流血盈前”，而杨素却言笑自若。两军对阵时，杨素先令一二百人前去迎敌，若取胜也就罢了，如不胜而败逃者，无论多少，全部斩首。然后再令二三百人迎敌，不胜则照杀不误。所以杨素的部下对他极其敬畏，作战时皆抱必死之心，所以战无不胜，称为名将。杨素当时正受宠幸，隋文帝对他言听计从，所以杨素征战的将士，都微功必录。而其他的将令虽有大功，但都被文官谴却。所以杨素虽严厉凶狠，但由于他能够恩威并施，所以将士皆愿随其征战。
开皇二十年（公元600年）四月，步迦可汗率兵进犯隋边。隋文帝命杨素隋晋王杨广出灵州（治回乐，今宁夏灵武西南），同时又令汉王杨谅、柱国史万岁出朔州（治善阳，今山西朔县），合击步迦可汗。杨广为培植自己的势力，亲自与杨素结交，杨素也知杨广有夺位之心，遂投其门下。
后文帝废太子勇，立次子广为太子，杨素参与其事。四年，文帝病重时，察觉杨广行为不端，欲重立杨勇。时杨素侍疾宫内，闻讯即更换宿卫，控制宫中出入。七月，文帝死，隋炀帝杨广即位。文帝之死，或疑是杨广勾结杨素等所下的毒手。八月，并州总管汉王谅举兵反，炀帝以杨素为并州道行军总管，讨平汉王谅。大业元年（公元605年），杨素为尚书令，与宇文恺等奉诏营建东部。次年又进位司徒，改封楚公，同年病死。杨素贪财货，营求产业，邸店田宅以千百数，东西京居宅侈丽，家僮数千，姬妾众多。杨素工草隶书，善属文，有集十卷，今不存。