（4）杨素被免官后的第二年（隋开皇五年，585年）十月，杨坚便重新启用了他，任命他为信州（今江西省上饶市）总管，经略长江上游。

临行前，杨坚给他赏赐了百万金钱、千段丝绸、良马二百匹。

他到任后，继续向杨坚献上伐陈之策，还建造战船，操练水师，为灭陈时刻准备着。

开皇八年（588年），杨坚罗列了陈后主二十条罪状后，发动了攻灭陈国的战争。

在灭陈之战中，杨素以行军元帅的身份率领水军攻打陈国，立下了战功。

《隋书》曾记载过杨素领军灭陈期间治军的残酷情况：“有犯军令者立斩之，无所宽贷。每将临寇，辄求人过失而斩之，多者百余人，少不下十数。及其对阵，先令一二百人赴敌，陷阵则已，如不能陷阵而还者，无问多少，悉斩之。又令三二百人复进，还如向法。”

杨素为了保证战争的胜利，不准部下在敌人面前溃退，一旦有人露怯撤退，就立即就地处死。他残酷的治军手段，使每个将士都不敢怠战。

当然，杨素对部下也并非只有残酷，他有时对士兵也较仁慈，给他们的赏赐较多，而且“微功必录”。

杨素率军还朝后，因战功卓著被进爵郢国公，邑三千户，真食长寿县千户，赐物万段，粟万石，金宝无数，又赏赐了陈后主之妹乐昌公主及女妓十四人；其子杨玄感进为仪同，杨玄奖进为清河郡公。

杨素又上言道：“叛逆之人王谊，以前曾分封于郢地，臣不想和他一样。”

杨坚于是改封杨素为越国公。

杨素虽然仕途日日通达，但他仍然惧怕老婆郑祁耶，这个名声也被外人知道了。

人们都说别看杨素平时对人很凶残，动辄杀伐砍头，但他却不敢动他老婆一根毫毛，他老婆把他看管得很严，使他轻易不敢和杨坚赐予他的陈后主之妹乐昌公主及十四个女姬们温存。

开皇十年（590年）六月，杨坚拜杨素为纳言之职位；七月，又转内史令。

开皇十二年（592年）开始，杨素被杨坚任命为尚书右仆射，与高颎、苏威成为高祖的三大支柱，共掌国政。

杨素无论在平叛内乱、剿匪、攻打突厥的战争中，都未败绩过，真正称得上是一位战无不胜的大将军。

（5）杨素进到高府里边，高颎热情地请他在大厅内就坐。

但杨素没有入内，而是环顾起高府里边的布局来。

高颎于是陪着他转悠。

杨素看到，高府很大，布局是四合院式的。

北边是规模宏大的正宫，高颎和夫人贺拔氏住在里边；东西两边是两座陪宫，是高颎的三个儿子高盛道（生卒年不详）、高弘德（生卒年不详）、高表仁居住的地方，由于高盛道正在莒州当刺史，高弘德正在晋王杨广府里当记室，所以家里的儿子只有高表仁。

高表仁认识杨素，他向杨素行礼问安后就进到了一个陪宫里。

高颎笑着对杨素说：“犬子话少，大人见笑了。”

杨素在想着自己的七个儿子时说：“男娃娃话都很少的。”

然后，杨素欣赏着三座宫殿，看到它们都雕梁画栋、朱红色泽，很是漂亮。

杨素一边看，一边心里想着当初高颎负责修建大兴城的时候，可能怎么也没有想到，他为皇上用心修建的这处宫殿却被自己享受了。

这座行宫位于皇城的西南方向，本是给皇上修建的娱乐行宫，取名怡乐宫。

但杨坚生性中和，对娱乐之类的事情并不那么热衷，加上该宫距离他常驻的千秋宫较远，觉得来去不方便，于是自从修建起来后并没有常用。

杨坚看在高颎多次立下战功及他自己出巡时让高颎留守京都，高颎把京都管理得井然有序的功劳上，于是把这座怡乐宫赏赐给了高颎，叫他当住宅用。

皇帝给臣下依功赠宫，这在大隋建立以来甚至后来都很少有过。

杨素说：“我在外边的时候由高仆射的家想起了自己的很多事情，进到里边，更感到我们的差距很大啊。当然，高仆射得到皇上的如此厚爱，也是名实相副啊！”

高颎说：“杨仆射都想到了什么？”

杨素感叹一声说道：“不说了，说来话长，很多往事都不堪回首啊！”

高颎知道杨素是对自己被皇上器重、厚爱而心里不平。

那天，皇上让杨素负责修建仁寿宫，而让自己留守宫内的旨意下达后，他也看到了杨素的表情变化。

杨素今天这样说，显然还是对自己享受到的待遇不太高而婉转地表示不满。

前边所说的差距很大显然表达了他的失落感。

高颎说：“我这住宅和您的住宅其实是不相上下的。”

杨素说：“差远了。哪天高仆射去我那里转转就知道差别了。”

高颎听了，心想若要论给大隋王朝的贡献，我比你杨素还是大了一些，凭功而论，你杨素和我确实是有差别的，所以待遇当自然是有差别了。

至于你的家，我虽然没有去过，但你家的情况我大致还是有些了解，你那老婆郑祁耶太强势了，经常和你吵架，那年你丢官，就是你那二百五老婆没头脑造成的，怎么能把自己丈夫说的啥话都去告诉给皇上呢？

高颎说：“感谢杨仆射邀请，哪天一定去府上搅扰大人。”