作为一代军师和智者，刘伯温料事如神，他深知自己平时疾恶如仇，得罪了许多同僚和权贵，同时也深知"伴君如伴虎"的道理。因此，他在功成名就之后，毅然选择激流勇退，于洪武四年(1371年)主动辞去一切职务，告老还乡，回青田隐居起来。

刘伯温在青田过了2年的隐居生活，本来希望远离世间是非争夺。但是，他的智慧和才能实在太高，他的名声实在太大了，他甚至被民间百姓渲染成了一位活神仙般的人物，这就无法避免政敌的嫉妒和皇帝的猜疑。

洪武六年(1373年)，刘伯温的政敌胡惟庸当了左丞相，指使别人诬告刘伯温，说他想霸占一块名叫“茗洋”的“有王气”的土地做自己的坟墓，图谋不轨。早就对刘伯温放心不下的明太祖，听到诬告后果然剥夺了刘伯温的封禄。刘伯温非常惶恐，于是亲自上南京向明太祖谢罪，并留在南京不敢回来。

洪武八年(1375年)，有病在身的刘伯温由皇帝朱元璋所派使者护送回家，不久在家忧愤而死，享年65岁。在明初的官场中，以刘伯温为代表的浙东派在与淮西派首领李善长的争斗中，曾一度占上风，但最终却刘基却被李善长的心腹、奸臣胡惟庸所害。

刘伯温在南京时，胡惟庸曾派太医为刘伯温诊病送药，但刘伯温吃了他的药后，病情加剧。

因此，当时人们怀疑刘伯温是胡惟庸下毒致死。他死后139年，即明武宗正德九年（1514），被追赠太师，谥号文成，因而后人又称他刘文成。

刘伯温不但是一位谋略大师，也是一位著名的学者和文人，他的著作很多，流传于世的有《郁离子》10卷和《诚意伯文集》20卷。其中，代表作《郁离子》一书在中国思想上和文学史上都占有重要地位。

刘伯温死后，葬于青田武阳夏山。据说，刘伯温死前曾预言胡惟庸必败，到时明太祖会为自己平反昭雪，他还特留下一封密奏给儿子，要他在日后明太祖想起自己的时候再上奏。5年后，胡惟庸果然垮台。又10年后，刘伯温果然被平反。明太祖还赐给刘氏家族金书铁券，特批刘氏成员可凭此免一次死罪。

虽然《明史·刘基传》看不到刘基在风水方面的记载，但是民间却流传着许多刘基的风水故事。当然正史是不大可能在这样一个重要政治家的传记里，去记载精通风水之类的尴尬事情。但是野史没有这么多忌讳，据明朝人写的《英烈传》记载，朱元璋定都金陵，是刘伯温相的地。

当时刘基在正殿基址中，设柱子立在水中，朱元璋嫌太逼狭，将柱子移到后边，刘基依此断言：“如此亦好，但后来不免有迁都之举！”后来明成祖朱棣在