沃伦的最初几年也正是家里最困难的几年。当时霍华德是联合街道银行的证券销售商，而吝啬的欧内斯特认为这是一个很不确定的职业，他在给沃伦的叔叔克拉伦斯的信中写道：我对股票了解得相当透彻。也就是说，任何辛辛苦苦积攒起钱直到自己50来岁的人要是在股票市场上投资，那他绝对是个轻率的傻瓜，而不只是有可能是一个傻瓜。
霍华德在旁边信手写道：“这真是对我事业的吹捧。”但是不到一年，欧内斯特的预言灵验了。1931年8月13日那天——也就是离沃伦的周岁生日不到两周时——他的父亲下班回家，带来了他的银行倒闭了的噩耗。这是大萧条时期的一幅鲜明的“忠诚”被彻底粉碎的场景。他的工作泡汤了，储蓄也落空了。欧内斯特给他儿子一些时间宽限来偿还杂货店的债款——这对于霍华德而言是一枚苦果，因为他继承了家庭对借钱的蔑视。“维护你的名誉，这比金钱重要得多。”霍华德觉得前景非常黯淡，于是他考虑要举家迁回西点。
但没过多久，霍华德便宣布他的巴菲特·斯克莱尼卡公司在法纳姆大街联邦州立银行大楼里开业了。这条街便是后来沃伦生活和工作的地方。霍华德和合伙人乔治·斯克莱尼卡一起经营出售“投资证券、市政公司及公用事业股票及债券”的业务。由于市场的崩溃削弱了公众的信任度，现在霍华德只能凭借自己的勇气和愿望来经营它。奥马哈地区还自认为可以免受大萧条的冲击，然而，到了1932年，小麦价格暴跌，农民们都只有靠救济度日，奥马哈的共和党人坚决地以压倒多数选择了罗斯福。第二年便有11,000多人登记要求救济。在这种恶劣的环境下成立的巴菲特·斯克莱尼卡最终只是个徒有虚名的公司，只不过可以让霍华德找个地方挂挂帽子，收取点佣金罢了。
他做的第一笔生意姗姗来迟，而且佣金很低。身为奥马哈扶轮社总裁的欧内斯特，通知他的手下扶轮社员说他的儿子期望甚高但对股票却知之甚少，于是建议手下不要把生意交给他儿子去做。利拉总算还能在餐桌上凑出一顿饭菜，但她也常常克扣自己以便让霍华德吃得更饱一些。家里的生活非常拮据，利拉只好再也不去加入她的教堂圈子，这样便可节省下29美分来买一磅咖啡。
巴菲特家受到恶劣气候的侵扰，仿佛中西部进入了大萧条。“大萧条来临了，”利拉写道，形容它“带着可怕的112度的灼热”。尘暴从俄克拉荷马滚滚涌来，奥马哈人只有紧闭房门躲避蝗虫的侵袭。在沃伦4周岁生日那天，一阵“灼热的风”把纸碟和餐巾纸吹落在地，整个前廊都被埋在了红色的尘土之下。沃伦和多丽丝顶着屋外令人窒息的热气，苦苦等待卖冰人从马拉的货车上跳下来，递给他们一些冰片含在嘴里。到了严寒的冬季，情况甚至比炎热的夏季还要糟糕。沃伦和姐姐总是裹得严严实实的，商人们打电话付款时都不敢让摩托车熄火，以免引擎发动不起来。
