堂堂的封疆大吏，居然因为元载的一封信，对山野匹夫如此恭敬，岂不是丢尽了朝廷的颜面？李豫得知后，气得吹胡子瞪眼。不过，李豫觉得元载会办事，不想君臣之间产生隔阂，于是将他叫进宫，语重心长地告诫了一番，希望他能收敛行为，以免坏了君臣之礼。
遗憾的是，元载并没有收敛的意思。
大历五年（770）十一月，丧心病狂的元载将矛头指向了李泌。
李泌和李唐皇室的关系，大家想必都知道。当年，李亨坐稳皇位后，李泌回衡山做了道士。为了嘉奖李泌，李亨命人在衡山修建了道观，并让李泌享受朝廷三品官员的待遇。李泌并非不想做官，只是觉得李亨心思深沉，很难全始全终。
不过，李豫天性仁德，还在灵武的时候，李泌便看出来了。李豫登基之后，将李泌请出衡山，并将大明宫蓬莱殿作为李泌休息的寝宫。朝中大事，地方节度使的任命，李泌都能说得上话。不仅如此，李豫提议给李泌娶老婆，李泌还真答应了。李豫和李泌的关系，已经超越了君臣界限，这让元载醋意满满。
有一天，元载对李豫说道：“陛下，臣经常看到李泌去北衙禁军，和当年的好朋友一起聊天喝酒，他难道不知道鱼朝恩当初搞的阴谋吗？”
李泌？不怀好意？搞阴谋？
李豫有种哭笑不得的感觉，不过还是耐着性子解释道：“北衙禁军的将领和先生都是好朋友，是朕让他去喝酒的。至于处置鱼朝恩，先生还出了大力呢。以后千万别再说李泌心怀叵测的话了。”