贫困周起魁夫妇相继过世后，一个大家庭的生活渐入拮据。但是封建家庭的官场体面还要有，送往迎来的排场不能少，为了支撑门面，作为周家理财管事的主持者万十二姑不得不举债应酬，或者靠典当衣物度日。这给幼时的周恩来留下了深刻的印象。
正当家境贫困的时刻，周贻能生了第三个儿子，取名“恩寿”。在周恩寿出生的1904年，让周贻能没有想到的是自己和万十二姑的兄弟万立珍（周恩来的十八舅）合买的一张彩票中了头彩，计1万元。两人各得5000元，这是一笔不小的数目，毕竟周贻能在外面从业的月薪也不过16元。可是中彩票的事在淮安一张扬，借款的、乞讨的、公益摊派的、慈善募捐的……接踵而至，仅驸马巷铺设石板路面就出了100多元。还有以上一代的“借据”来要债的，没有办法，只好迁到清江浦娘家去躲避。
这一年万十二姑和丈夫周贻能带着3个儿子及周恩来的嗣母陈氏一起搬到清江县清江浦万十二姑的娘家居住。这时万青选已经去世，表面上万府仍是深宅大院，房屋几乎占了半条街，但实际上家道中落，田地房产不断出售，显赫的声势已经成为过去。不过万家留下了大量的藏书，有诗词歌赋、通鉴野史，还有很多小说，正好满足了周恩来的求知欲。
起先生母和嗣母送周恩来到万家的家塾中继续读书，但他嫌教书先生讲得不过瘾，没有外祖父藏书里的东西精彩，便抽时间跑到书房里去如饥似渴地阅读。生母和嗣母知道后，只好专门找了一个先生单独教他，并鼓励他读了大量的小说。周恩来读的第一部小说是淮阴人吴承恩写的《西游记》。这部小说里的神话故事对他开阔思路、发挥想象力有很大帮助。从中周恩来也明白了为了探求真理不畏艰辛、正义最终战胜邪恶等道理。再加上嗣母的讲解，他对神话故事、历史故事和古典小说更感兴趣。
