为赵相后，陈豨就只专门负责代地，无形中被削了权。
陈豨兼任两国相国时，权势极大，而陈豨又非常仰慕信陵君的为人，门下宾客数千人；往来代、赵两地时，仅门客的车乘就达千余乘，到赵国是，几乎将所有的驿站、馆舍都住满了。而陈豨对这些宾客还十分谦逊，以布衣之礼与他们交往，从来不摆架子。这些在普通人看来称得上是美德的事迹，落在有心人眼里，就成了罪状。周昌到了赵国，可能在交接工作上与陈豨也有些不快的事发生。陈豨离开赵国，前往代国后，周昌给刘季参了一本，说陈豨”宾客盛甚，擅兵於外数岁，恐有变“。这其实有些无中生有，捕风捉影。
有人举报，刘季自然要派人下来查。结果一查，就查出门客们在赵、代两国许多钱财上不清不楚的事，陈豨至少也有个督下不严之罪。
而这时，投降了匈奴的韩王信也不安分，他派王黄等人与陈豨联络，而陈豨作为边防大员，竟然也暗中与之暧昧不清。
一方面被分了权，从富庶的邯郸发配到荒凉的代地；另一方面，上面还查出自己手下经济上的问题，而且自己屁股上也不干净，几重压力之下，陈豨竟也生出了异心。