但是，他致力于以机巧奸诈，而横立于朝廷。不遵循仁义正道，迎合谄媚隋文帝，迷惑隋文帝的心意，大造离宫别馆，诱使隋文帝陷于奢侈之中。他谋划废除嫡长子，致使国家处于倾覆的危亡境地。最终隋王朝灭亡，社会凋敝衰败，探究祸败的根源，确实是杨素的罪责极大。
虽然是他死得早，但他的儿子杨玄感，参与废立，谋反又成为祸乱的阶梯。杨素坟土未干，他的坟便被掘，全家人被诛杀，祖坟也被掘，宗族也被诛杀。
由此可知，多行不仁，祸及子孙。这话确实不是凭空乱说。杨素就是这样的。当时，杨素与高颎，同时执掌隋初国政。高颎公平正直，德才兼备，后世称为良相。杨素呢?他的才能或许并不逊色于高颎。论战功，“功臣莫居其右”；论文才，“足为一时之杰”。然杨素专以智诈自立，阿谀时主，以求宠贵。杨素工于心计，残酷无情。他参与策划了拥立晋王杨广(即后来的隋炀帝)为皇太子的阴谋。也参与了杨广谋杀文帝杨坚(即隋文帝)的罪恶活动。他虽然曾经获得隋文帝和隋炀帝一时的信用，但邪恶的勾结，彼此的心照不宣，进一步激化了君臣之间的猜忌和恶感。据说，杨素就是在隋炀帝授意之下，被毒死的。这种君臣之间的猜忌和恶感，后来又激化了杨素儿子杨玄感的大叛乱。以致杨氏宗族被诛灭，祖坟被发掘，杨素遭暴尸之惩，悲惨耻辱，莫过于如此。古话说：“多行不义，必自毙”；“多行不仁，祸及子孙。”杨素的悲惨结局，正是如此!
(事据《隋书杨素传》)