霍华德曾经有一份在报界的工作，这也正是他所梦寐以求的。但是他父亲的一位朋友在保险公司给他找了个周薪25美元的职位。霍华德放弃己爱的
消息在当时还沸沸扬扬了一阵。正如利拉所说：“他服从了父亲的意愿，因为是父亲资助他念的大学。”
夫妇两人搬进位于巴克大街的一座有壁炉的二层白色平板房中。对于利塔来说，这是一个艰难的开端。被一个残疾的母亲带大的她，没有任何家庭主妇的经验。由于霍华德要用车，于是利拉在做临时秘书或打印工作时就搭乘公共汽车，然后她得走回家做一大堆家务活儿。最初几年，她有时每周比霍华德挣得还要多些。
1927年的时候，利拉做了眼部手术。此后她的头痛又复发了。第二年，当她的第一个孩子多丽丝出世时，利拉发烧达到了105度 （华氏），几乎吓坏了所有的人。两年以后，夫妇俩又添了个儿子：沃伦。巴菲特。那是1930年8月30日，潮湿的夏季里，一场暴风雨撕碎了98度的高温。
从最初开始，沃伦就超乎年龄地谨慎。他学走路时总是弯着膝盖，仿佛这样可以保证他不会摔得太惨。当他母亲带着他和多丽丝去教堂时，多丽丝会到处乱跑以致于走丢了，但沃伦则会乖乖地坐在母亲旁边。他被利拉称为“一个很少带来麻烦的小孩”。
在沃伦两岁时拍的照片上，他是个结结实实、皮肤白皙的小家伙。他穿着系白鞋带的小靴和白色短袜。一只手里握着一个立方体型的积木，浅浅的笑脸，深深的双眸。他的头发起先是金黄色，后来变成了赭色，但他的性情却没有任何变化。他从不在不熟悉的地方乱逛，也不惹是生非或寻衅滋事。
比沃伦小3岁的罗贝塔常常保护他，使他免受附近的小霸王的欺负。有一次，霍华德带回家一些拳击手套，还约来个男孩与沃伦交战。利拉回忆道“他们压根儿就没有用到过那些手套。”沃伦天性如此好静，于是激起了他姐姐和其他人对他的一种本能的保护心理。沃伦似乎天生就不会打架。
沃伦的最初几年也正是家里最困难的几年。当时霍华德是联合街道银行的证券销售商，而吝啬的欧内斯特认为这是一个很不确定的职业，他在给沃伦的叔叔克拉伦斯的信中写道：我对股票了解得相当透彻。也就是说，任何辛辛苦苦积攒起钱直到自己50来岁的人要是在股票市场上投资，那他绝对是个轻率的傻瓜，而不只是有可能是一个傻瓜。
