朱元璋就此与刘基决裂。
至此之后，刘基不再得到朱元璋的信任，他虽明白自己地位不如前，但仍然坚持在朝中为官，为浙东集团撑台。但朱元璋不是那么好打发的。
洪武三年，朱元璋亲自下书给刘基，对他说了这样一番话，“你年纪这么老了，应该在家陪老婆孩子，何苦在这里陪着我呢。”
这意思就是，我要炒你鱿鱼，走人吧。刘基只好回到了乡下。
这时，浙东集团的另一干将杨宪失去了刘基的帮助，很快被淮西派排挤，本人也性命不保，被胡惟庸找个借口杀掉了。
在这场斗争中，淮西集团最终大获全胜。
刘基明白，自己失败了，他现在唯一的愿望就是好好在家养老，度此一生。可是在这场斗争中，失败的人是要付出代价的。
胡惟庸成为了丞相，他没有放过刘基，指使手下状告刘基，此时刘基已经没有官位，还能告他什么呢，但所谓欲加之罪，何患无辞，实在是至理名言。刘基的罪状是占据了一块有王气的地。所谓王气实在是个说不清的东西，说有就有，说没有也没有，只看你的目的是什么。
于是朱元璋再次下诏处罚刘基，官都没了，还罚什么呢？朱元璋有办法，他扣除了刘基的退休金。
刘基陷入了绝望，但他的智慧又一次发挥了作用，他没有在原地等死，而是出人意料的回到了京城。
这实在是很绝的一招，他明白，胡惟庸对付他的根本原因在于朱元璋，只要自己回到京城，在朱元璋的眼皮底下，让他放心，自己的性命就有保证。
但这次，他又错了。
洪武八年正月，刘基生病了，朱元璋派胡惟庸（注意这点）探视刘基，胡惟庸随身的医生给刘基开了药方，刘基吃了药后，病情越来越重，过了不久，就死去了。
关于刘基的死因，后来的胡惟庸案发后，医生供认，是胡惟庸授意他毒死刘基的。这也成为了胡惟庸的罪状之一。
但很多人都知道，胡惟庸和刘基有仇，朱元璋也知道，却派他去探望刘基。而刘基这样有影响的人，胡惟庸是不敢随便动手的，不然也不会让刘基在他眼皮底下逍遥五年，他很有可能是得到了朱元璋的默许。无论此事是否是朱元璋指使，但毫无疑问的是，刘基之死朱元璋是负有责任的。
刘基一生足智多谋，为明王朝的建立立下汗马功劳，他对形势判断准确，思维缜密，能预测事情的发展方向，虽然他本人并非真如民间传说那样，有呼风唤雨的本事，但从他的判断和预测能力来看，料事如神并非过分的评语。他和诸葛亮一样，已经作为智慧的象征被老百姓所铭记。
在我看来，他确实无愧于这一殊荣。