刘备的亲人并不多。他在小时候父亲就去世了，留下他和靠着手艺谋生的母亲。尽管刘备喜欢漂亮的衣服，但他珍视亲情。因此，他身边聚集了关羽、张飞等众多优秀的人才。后来，当刘备在徐州时，他结识了城中首富糜竺，两人一见如故。糜竺甚至把自己的妹妹嫁给刘备做夫人。
糜夫人很贤惠，尽管她比刘备小了好多，她珍惜自己哥哥给自己找的这个男人，并且和另外一个姓甘的女子友好的相处。尽管她和刘备并没有儿子，可是糜夫人打心眼里敬仰刘备，把他当成顶天立地的大英雄。
糜夫人家里有钱，小时候过惯了有钱人的生活。可是结了婚，却跟着刘备东躲西藏的。她很受用，毕竟当时自己的夫君的名声是很大的。糜夫人很看重刘备，自然也号召家里人也对刘备格外看重。其实她即使不说话，家里人也象神一样的敬着刘备。
当时糜夫人有两个哥哥，老大是糜竺，老二是糜芳，都是一表人才，而且都有才华。糜竺在徐州城里说话很有力度，刘备的徐州牧糜竺是出过大力的。糜芳也不例外，在刘备跟前跑前跑后的，也很受到刘备的赏识。
刘备被曹操攻下徐州的时候，糜芳被曹操表奏为彭城相，官职相当于太守，两千石的官职，可是糜芳二话不说，跟着刘备去过逃难一样的日子，辗转飘零到刘表那里。
刘备手下的大将关羽，平时很高傲，看不起自己的同僚，一开始还好一些，因为在苦日子，还能互相照应。后来一旦刘备渐渐能和曹操孙权成鼎足三分的时候，关羽的傲气就更加凌人。
刘备和张飞诸葛亮攻打益州的时候，关羽奉命占据荆州，任命糜芳是南郡太守驻守江陵，同时将军傅士人驻守公安。关羽总是认为二人的能力够不上太守的资格，总是故意找他的茬。
公元219年，关羽在抗曹前线势如破竹，制造了水淹七军的神话，活捉了曹操大将于禁，斩了敌将庞德，声名远扬。此刻更加不可一世。要求糜芳等快速制备前线所用物资，如果时间延误，一定要重重责罚。
关羽是有脾气的，而且脾气很大，这一点糜芳很清楚。孙权是多厉害的人物，派诸葛瑾替儿子前来求亲，照样遭到责骂。自己平时就不受关羽的待见，糜芳很惶恐，可他还是没有别的想法，指示加紧筹备粮饷。
不过，孙权手下的吕蒙太厉害了，当时兵不血刃，白衣渡江拿下荆州，接着对待关羽手下的兵将犹如亲人，知冷知热、嘘寒问暖，这一招着实厉害，关羽手下的荆州士兵纷纷投降，就连公安的傅士人也没办法控制，后来傅士人投了东吴。不久傅士人给糜芳写一封书信，让著名的演说家虞翻前来下书。
虞翻反复陈述利害，说如今荆州危在旦夕，关羽这个人心高气傲，你又没有办法为他准备粮饷，既然如此，不如归降我东吴。我主孙权本来就善待人才，阁下又是汉中王的至亲，主公自然不会亏待阁下。如果驻守此地，进不能守，退不能自保，如今荆州失守，关羽一定会恼恨阁下，即使关羽不怪罪，汉中王岂能善罢甘休。不如与江东互为一体，可保无虞。糜芳无奈，只得投降。
糜芳投降以后，不仅遭到蜀汉的唾弃，也遭到东吴的轻视，就是当年劝降的虞翻也经常刁难。有一次糜芳乘船出行，恰好遇到虞翻的船，糜芳命人回避，虞翻厉声说：失忠与信，何以事君?倾人二城，而称将军，可乎?
糜芳含羞而退，不过他仍然想在东吴建功立业，不久便和刘邵、鲜于丹等人平定了东吴的叛乱，俘虏当初背叛吴国的戏口守将晋宗。
如此可见，糜芳并非一无是处，他的背叛显然有原因的：
其一，关羽的轻视。关羽这个人对士兵很友善，不过与同僚关系并不友好，尤其是不喜欢那些咬文嚼字的文官。尽管关羽的书读的并不多，可是很骄傲，总认为自己文武都是第一。
其二，傅士人的投降，傅士人和糜芳本来互为依仗，傅士人的投降，让紧张的糜芳不知所措，在敌人的强大攻势下，最终选择投降。
其三，对方太优秀。无论是吕蒙还是陆逊，都是东吴有名的军事统帅，不仅仗打得好，思想工作也做得好，尤其是优待俘虏，让糜芳差一点成了光杆司令。
其四，东吴的说客太厉害，虞翻能说，很有煽动性。傅士人的投降，糜芳的投降都与此人有关。不过演说家的嘴是靠不住的，用你的时候把你捧到天上，一旦恼怒，会把你骂得一佛出世，二佛升天。
其五，刘备的手下并非只有糜芳一人叛降，黄权等名将也是如此，看来刘备待手下也是有需要检讨的地方。
总之，在三国那个时代，人们在哪里做官，其实并没有一定的框框，至于忠臣不保二主，那都是后来小说演义上的话，何况关将军当年还保过曹操，孟达在魏国和蜀汉中间周旋，照样受到诸葛亮的器重，因此对于糜芳实在没有完全责备的必要。