度方受册司徒，徐州奏节度副使王智兴自河北行营率师还，逐节度使崔群，自称留后。朝廷骇惧，即日宣制，以度守司徒、同平章事，复知政事。乃以宰相王播代度镇淮南。度与李逢吉素不协。度自太原入朝，而恶度者以逢吉善于阴计，足能构度，乃自襄阳召逢吉入朝，为兵部尚书。度既复知政事，而魏弘简、刘承偕之党在禁中。逢吉用族子仲言之谋，因医人郑注与中尉王守澄交结，内官皆为之助。五月，左神策军奏告事人李赏称和王府司马于方受元稹所使，结客欲刺裴度。诏左仆射韩皋、给事中郑覃与李逢吉三人鞫于方之狱。未竟，罢元稹为同州刺史，罢度为左仆射，李逢吉代度为宰相。自是，逢吉之党李仲言、张又新、李续等，内结中官，外扇朝士，立朋党以沮度，时号“八关十六子”，皆交结相关之人数也。而度之丑誉日闻，俄出度为山南西道节度使，不带平章事。
长庆四年，襄阳节度使牛元翼卒。其家先在镇州，朝廷累遣中使取之，王廷凑迁延不遣。至是，闻元翼卒，乃尽屠其家。昭愍皇帝闻之，嗟惋累日，因叹宰辅非才，致奸臣悖逆如此。翰林学士韦处厚上言曰：
臣闻汲黯在朝，淮南不敢谋叛；干木处魏，诸侯不敢加兵。王霸之理，皆以一士而止百万之师，以一贤而制千里之难。臣伏以裴度勋高中夏，声播外夷，廷凑、克融皆惮其用，吐蕃、回鹘悉服其名。今若置之岩廊，委其参决，西夷北虏，未测中华；河北山东，必禀庙算。况幽、镇未静，尤资重臣。管仲曰：“人离而听之则愚，合而听之则圣。”理乱之本，非有他术，顺人则理，违人则乱。伏承陛下当食叹息，恨无萧、曹。今有一裴度尚不留驱使，此冯生所以感悟汉文，云虽有廉颇、李牧不能用也。
夫御宰相，当委之信之，亲之礼之。如于事不效，于国无劳，则置之散僚，黜之远郡。如此，则在位者不敢不励，将进者不敢苟求。陛下存终始之分，但不永弃，则君臣之厚也。今进皆负四海责望，退不失六部尚书，不肖者无因而劝。臣与李逢吉素无雠嫌，臣尝被裴度因事贬黜。今之所陈，上答圣明，下达君议，披肝感激，伏地涕流。伏望鉴臣爱君，矜臣体国，则天下幸甚。
昭愍愕然省悟，见度奏状不带平章事，谓处厚曰：“度曾为宰相，何无平章事？”处厚因奏：“为逢吉所挤，度自仆射出镇兴元，遂于旧使衔中减落。”帝曰：“何至是也。”翌日下制，复兼同平章事。
然逢吉之党，巧为毁沮，恐度复用。有陈留人武昭者，性果敢而辩舌。度之讨淮西也，昭求进于军门，乃令入蔡州说吴元济。元济临之以兵，昭气色自若，善待而还。度以为可用，署之军职，随度镇太原，奏授石州刺史。罢郡，除袁王府长史。昭既在散位，心微悒郁，而有怨逢吉之言。而奸邪之党，使卫尉卿刘遵古从人安再荣告事，言武昭欲谋害李逢吉。狱具，而武昭死，盖欲讦度旧事以污之也。然士君子公论，皆佑度而罪逢吉。天子渐明其端，每中使过兴元，必传密旨抚谕，且有征还之约。
宝历元年十一月，度疏请入觐京师。明年正月，度至，帝礼遇隆厚，数日，宣制复知政事。而逢吉党有左拾遗张权舆者，尤出死力。度自兴元请入朝也，权舆上疏曰：“度名应图谶，宅据冈原，不召自来，其心可见。”先是奸党忌度，作谣辞云：“非衣小兒坦其腹，天上有口被驱逐。”“天口”言度尝平吴元济也。又帝城东西，横亘六岗，合《易象乾》卦之数。度平乐里第，偶当第五岗，故权舆取为语辞。昭愍虽少年，深明其诬谤，奖度之意不衰，奸邪无能措言。
时昭愍欲行幸洛阳，宰相李逢吉及两省谏官，累疏论列，帝正色曰：“朕去意已定。其从官宫人，悉令自备糗粮，不劳百姓供馈。”逢吉顿首言曰：“东都千里而近，宫阙具存，以时巡游，固亦常典。但以法驾一动，事须备仪，千乘万骑，不可减省。纵不费用绝广，亦须丰俭得宜，岂可自备糗粮，顿失大体？今干戈未甚戢，边鄙未甚宁，恐人心动摇，伏乞稍回宸虑。”帝不听，令度支员外郎卢贞往东都已来，检计行宫及洛阳大内。朝廷方怀忧恐，会度自兴元来，因延英奏事，帝语及巡幸。度曰：“国家营创两都，盖备巡幸。然自艰难已来，此事遂绝。东都宫阙及六军营垒、百司廨署，悉多荒废。陛下必欲行幸，亦须稍稍修葺。一年半岁后，方可议行。”帝曰：“群臣意不及此，但云不合去。若如卿奏，不行亦得止后期。”旋又硃克融、史宪诚各请以丁匠五千，助修东都，帝遂停东幸。