第一件事发生在孝质皇帝朝。这个八岁登基的儿童，仅做了一年的天子就驾崩了，原因是吃了大将军梁冀送来的一碗面条。吃面条的前一天，他在臣下们的面前给大将军下了四个字的评语：“跋扈将军”。大将军主张再找一个年幼的嗣君，而胡太傅和当时的太尉李固等人则主张立年长的清河王刘蒜为天子。在相持不下的时候，胡太傅突然变卦，转向了大将军。李太尉被免，其职务由胡太傅代领。
他的转变相当及时，因为孝桓皇帝登基后，刘蒜被大将军逼迫自裁，李太尉死于狱中。胡太傅封安乐乡侯。大将军被诛，胡太傅受到牵连，夺去爵位，免为庶人。可不到一年，孝桓皇帝又怀念起了他，觉得他不像有些士大夫那样不知好歹，于是诏拜司空。其实这是太傅意料中的事，他在仕途中多次被罢免，但复职的时间从来不超过一年。当今的天子更是喜欢他，因为他与陈太傅大不相同。何况，他也是当初与大将军和陈太傅一道，定下拥立自己为帝的重臣之一。太傅由此获得了取媚于时、无忠直之风的评价。
第二件事，他与中常侍丁肃，保持了姻亲关系。丁肃是济阴人，而胡太傅做过济阴太守，他们是老相识了。但本朝的士大夫对通婚相当慎重，太傅如此，引起了士大夫们对他的非议。
他的生活方式，堪称士大夫们的楷模。年少时家境的清寒，使他一直保持简朴的生活。他的孝行也是出了名的，直到八十岁时，他都不柱拐杖，口不言老，因为他的继母还健在，他每天都要亲自侍奉她的起居。
天子给了太傅国葬的待遇，这个待遇包括赐予东园的木材做棺具，赐予原陵的墓地，谥文恭侯，拜家中一子为郎中。出殡之日，由谒者护丧，故吏门生自公卿、大夫、博士、议郎以下数百人穿着丧服跟随，这，也创下了大汉开国以来的纪录。
六年以后，天子仍怀念着老太傅，让人画了太傅的像，挂在尚书台内。后来，又召来本朝的议郎蔡邕，为这张画像作颂。蔡议郎是胡太傅的得意门生，而且写得一手好文章。本朝有点身分的人，皆以死后能得到蔡议郎为自己写的墓志或像颂为企盼。蔡议郎的面子薄，人家请了，往往无法推辞。不过，他心里十分清楚，为死人写的文字，是写给活人看的，所以总是要往好里说，说违心的话。他承认写过的惟一的一篇毫不惭愧的作品，是郭泰的墓志《郭有道碑》。这话是他在郭泰的葬礼上，悄悄地对涿郡人卢植讲的。
