秦二世元年(前209年)陈胜、吴广起义后,六国贵族也纷纷起兵,陈平往事魏王咎。不久受谗亡归项羽,公元前205年春,因司马卯背楚降汉,项羽迁怒于陈平。陈平不仅遭到了项羽的责备,而且他出的计谋项羽也不再采纳。陈平觉得自己不受重用,说不定哪一天项羽还会杀他,尤其是他已看清了项羽是个鲁莽武夫,最终是不可能取得胜利的,于是他挂印封金、偷偷地走了。他想起在汉王手下的魏无知是自己的老朋友,不如也去投奔刘邦。
天快黑时,他逃到了黄河边,他请船夫送他过河。陈平上了船,从船舱里又出来了一个船夫。他想这两个人可能是水盗,以为他身上带着珠宝,想图财害命。为了保全自己的性命,他马上脱了衣服,扔在船上,光着上身来帮船夫划船。船夫看他腰间什么也没有,衣服掉在船上也没有什么声音,知道他身上什么贵重的东西都没有,也就打消了加害他的念头。一场凶险,竟被他轻而易举地化解了。
陈平经汉将魏无知推荐,面见刘邦。两人纵论天下大事,十分投机。刘邦破例任陈平为都尉,留在身边做参乘(陪他出行,为他驾驭马车的官员),并命他监护三军将校。这事引起了将领的不满,纷纷说他品行不端,贪图贿赂(也就是后人有时提起的“昧金”“盗嫂”),认为这种人不能信任重用。
刘邦经不住众人再三诋毁陈平,便也心生疑团,召陈平来质问道:“听说你原来是帮助魏王的,后来离开魏王去帮助楚霸王,现在又来帮助我,这怎么不让别人怀疑你的信义呢?”陈平不紧不慢地回答道:“同样一件有用的东西,在不同的人手里作用就不同了。我侍奉魏王,魏王不能用我,我离开他去帮助楚霸王,霸王也不信任我,所以我才来归附大王。我虽然还是我,但用我的人可不一样了。我久慕大王善于用人,所以才不远千里来投奔大王。我什么也没带,来到这儿,所以什么都没有,才接受了人家的礼物。没有钱,我就生活不了,也就办不了事。如果大王听信谗言,不起用我,那么,我收下的那些礼物还没有动用,我可以全部交出来,请大王给我一条生路,让我辞职回家,老死故乡。”寥寥数语,道明了各方的政治优劣,话中有话。
刘邦的疑虑顿消,对陈平倍增好感,并重重地赏赐一番,提升他为护军中尉,专门监督诸将。从此,陈平一心一意为刘邦“六出奇计”夺取天下,成为西汉安邦定国的著名谋臣。