突厥步迦可汗所部大乱，铁勒仆骨等十余部，皆叛步迦降于启民。步迦众溃，西奔吐谷浑；长孙晟送启民置碛口，启民因而尽有步迦之众。
久之，贝州长史裴肃遣使上书，称：“高飃以天挺良才，功臣佐命，为众所疾，乃至烧毁；愿陛下录其大功，忘其小过。又二庶人获咎已久，宁无革心！愿陛下弘君父之慈，顾本性之义，各封小国，观其所为：若能迁善，渐更增益；如或不悛，贬削非晚。今者改过之路永绝，愧悔之心莫见，岂不哀哉！”书奏，上谓杨素曰：“裴肃忧我家事，此亦至诚也。”因而征肃入朝。太子闻之，谓左庶子张衡曰：“使勇改过，欲何为也？”衡曰：“观肃之意，欲令如吴太伯、汉东海王耳。”肃至，上面谕以勇不成复收之意而罢遣之。肃，侠之子也。
及太子勇以谗废，晋王广为太子，秀意甚不平。太子恐秀终为后患，阴令杨素求其罪而谮之。上遂征秀，秀踌躇，欲谢病不可。总管司马源师谏，秀作色曰：“此自我家事，何预卿也！”师垂涕对曰：“师忝参府幕，敢不经心！圣上有敕追王，以淹时月，今乃拖延未去。百姓不识王心，倘生贰言，表里疑骇，发雷霆之诏，降一介之使，王何故自明？愿王熟计之！”朝廷恐秀生变，戊子，以原州总管独子瓜楷为益州总管，驰传代之。楷至，秀犹未肯行；楷讽谕久之，乃就路。楷察秀有悔色，因勒兵为备；秀行四十馀里，将还袭楷，觇知有备，乃止。
著作郎王劭上言：“佛说：‘人应生天上及生无量寿国之时，天佛放大光亮，以香花妓乐来迎。’伏惟大行皇后福善祯符，备诸秘记，皆云是妙善菩萨。臣谨案八月二十二日，仁寿官内再雨金银花；二十三日，大宝殿后夜有神光；二十四日卯时，永安宫北有天然各种音乐，震满虚空；至夜五更，奄然如寐，遂即升遐，与经文所说，事皆符验。”上览之悲喜。
太子阴作偶人，缚手钉心，桎梏杻械，书上及汉王姓名，仍云“请华山慈父圣母神兵收杨坚、杨谅神魂，如此形状，勿令散荡。”密埋之华山下，杨素发之；又云秀妄述图谶，称京师妖异，造蜀地征祥；并作檄文，云“指期问罪”，置秀集合，俱以闻奏。上曰：“天下宁有是邪！”十仲春，癸巳，废秀为庶人，幽以内侍省，不听与老婆相见，唯獠婢二人差遣，连坐者百馀人。秀上表摧谢曰：“伏愿慈恩，赐垂矜愍，残息未尽之间，希与瓜子相见；请赐一穴，令骸骨有所。”瓜子，其爱子也。上因下诏数其十罪，且曰：“我今不知杨坚、杨谅是汝何亲？”后乃听与其子同处。
蜀王秀至长安，上见之，不与语；明日，使使切让之。秀赔罪，太子诸王流涕庭谢。上曰：“顷者秦王糜费财物，我以父道训之。今秀蠹害生民，当以君道绳之。”因而付法律者。开府仪同三司庆整谏曰：“庶人勇既废，秦王已薨，陛下见子无多，何至如是！蜀王性甚廉洁，今被重责，恐不自全。”上大怒，欲断其舌，因谓群臣曰：“当斩秀于市以谢百姓。”乃令杨素等推治之。
厥后上亦浸疏忌素，乃下敕曰：“仆射国之宰辅，不成躬亲细务，但三五日一贯省，批评大事。”外示优崇，实夺之权也。素由是终仁寿之末，不复通判费事。出杨约为伊州刺史。