李瑛的太子之位虽然保住了，但他在李隆基心目中的位置越来越边缘了。更糟糕的是，他的保护人张九龄后来被罢相了，远贬荆州。就在张九龄离开的第二天，李隆基再次召集宰相，商量要把太子李瑛废掉。
此后武惠妃设计派人向太子传旨，说是内宫有盗匪，请太子立即领兵护驾。于是，太子李瑛还有李瑶、李琚赶紧带着自己的卫队赶去了。等到三兄弟带兵进宫了，武惠妃装作惊慌失措的样子去向李隆基报告，说他的三个儿子要造反了。李隆基就把这三个人给抓起来了。
上一次李隆基要废掉太子，被张九龄劝阻了。现在的首席宰相已经是李林甫了，李林甫当然是支持废太子的。但是李林甫没有直接表态，而是说：“这是陛下的家事，我们当大臣的不应该过问的，您就按照自己的意思处置吧。”这种说法貌似不表态，其实就是默认支持。看到宰相没有意见，李隆基就下定了决心。他直接派了一个宦官到宫里宣制，把太子李瑛、鄂王李瑶、光王李琚都废为庶人，又被赐死在长安城东的驿站里。