刘贺登基称帝仅27天，就因“行昏乱”之罪被霍光废黜帝位，并褫夺了他的昌邑王爵位。随后，汉宣帝登基后，封刘贺为海昏侯，并迁居豫章郡。汉宣帝做出这个决定，背后隐藏着深刻的政治考虑。
一是出于安抚刘贺和群臣的政治需要。身为皇帝的刘贺被臣子霍光废黜，在群臣中引起了很大的非议。只是碍于霍光的权势，群臣敢怒不敢言。宣帝作为刘贺的继任者，如何处理好刘贺问题关系到他继位的合法性问题。因此汉宣帝通过对刘贺四年的监视，确定他难以对其帝位构成威胁后，决定妥当安置刘贺。
二是豫章郡地处东南一隅，远离帝都长安，可以最大化的消除刘贺的潜在影响。
三是在封刘贺为侯的同时又限定刘贺不得参加刘家宗庙举行的祭祖等各项仪式，使得刘贺无法对宣帝的皇位形成丝毫的威胁。汉宣帝在封授刘贺侯位时，也附加了一个苛刻的条件，即刘贺作为“天之所弃”的废帝，不得“奉宗庙朝聘之礼”。
这意味着剥夺了刘贺进京的权利，取消了他作为刘氏子孙的身份。在这样的情况下，刘贺只能在僻远的海昏县了此一生。