高祖当亭长的时候，曾经请假回家种田。有一次吕后和两个孩子正在田中除草，有一个老汉路过这里讨水喝，吕后给他喝了水，还给他一些吃的东西。老汉在给吕后相面后说道：“夫人您真是天下的贵人。”吕后让他给两个孩子相面，他看了孝惠帝后说：“夫人之所以显贵，正是由于这个孩子的缘故。”他又给鲁元相面，同样也是富贵面相。老汉刚走不久，高祖刚巧从旁边的房舍走过来，吕后就把方才那老人路过此地，给她们看相的事都告诉了高祖，说他们母子都是大贵之相。高祖问那老人在哪，吕后说：“还没走远。”于是高祖就追上了老汉，问他刚刚的事，老人说：“贵夫人以及子女的面相都非常像您，您的面相简直就是贵不可言。”于是高祖谢道：“果真如您老人家所言，我绝不会忘记你的恩德。”待到高祖显贵的时候，始终找不到那老汉的去处。
十二年十月，高祖在会甀打败了黥布的军队，黥布逃走后，高祖令其他将领继续追击他。高祖撤军，在回京途中，他路过沛县时停下来待了几天。高祖在沛宫摆酒宴，把老朋友和父老乡亲都请来纵情开怀地畅饮。找到一百二十名沛中儿童，教他们唱歌。酒兴正浓之时，高祖自己敲击着筑琴，唱起自己写的歌：“大风席卷起来啊云彩飞扬，声威传遍海内啊回到故乡，怎样能得到勇士啊守卫四方！”他让孩子们跟着学唱。高祖又跳起舞来，情绪激动而内心感伤，流下行行热泪来。高祖对沛县的父老乡亲们说：“远游的赤子总是在思念着故乡。尽管我建都关中，但是将来等我死后，我的魂魄还是会喜欢和思念沛县。况且我一开始就是以沛公的身份来起兵征讨暴逆，终于取得了天下，我要将沛县当作我的汤沐邑，并免除沛县百姓的赋税徭役，让你们世世代代不必纳税和服役。”沛县的父老乡亲及亲戚朋友天天畅快饮酒，谈起往事来取笑作乐。十多天之后，高祖想离去了，沛县父老坚决要留高祖多待几日。高祖说：“我的随从人马太多，父兄们供养不起。”于是他离开沛县。这天，沛县全城百姓都赶到城西来敬献酒食给高祖。高祖又留下来，搭起帐篷来痛饮了三天。沛县父老都叩头请求道：“沛县有幸能够免除赋税和徭役，然而丰邑却没有得到免除，希望陛下您也可怜可怜他们。”高祖说道：“丰邑是我生长的地方，是我最不能忘的地方，只是因为当初丰邑人在雍齿的带领下背叛我而帮助魏王，我才这样做的。”沛县父老仍旧坚决地请求高祖，高祖才答应也免除丰邑的赋税和徭役，与沛县一样。