胡直孺的胞兄胡僧孺任河北西路提督，屬江西名士。胡直孺於宋哲宗紹聖四年（1097年）中進士，曾任《九域志》編修官時，為營解元祐黨人，四處奔跑呼號。後來遷任監察御史、平江府知府，擢江湖淮浙發運使，入為戶部侍郎。當時正值金兵大舉南侵，他出謀獻策，初戰告捷。遷工部尚書、龍圖閣學士、知南京兼東京道總管。金兵再犯京師，他又被召勤王，勇敢作戰，斬敵千餘名。第二年，金人燃起更大戰火，形成大兵壓境之勢，而朝中主和派卻從中搗鬼，胡直孺所部孤軍作戰，陷入金兵的重重包圍中，直孺不幸被虜。在敵營中，他保持了民族氣節，過了很久才得到機會回朝。

　　宋徽、欽兩帝被俘後，宋室南渡，高宗即位。建炎二年（1128年），胡直孺任洪州帥兼知府，冒著政治風險，衝開當時“士子不得挾蘇黃稿”的禁令，為詩人黃庭堅徵集遺稿。紹興初，遷刑部尚書兼侍讀，在朝論奏十事，高宗非常欣賞，在白團扇上御書杜甫：“文物多師古，朝廷半老儒”的詩句送他。同時又賜田租八百石，以示對他的倚重。隨後又調他做兵部尚書兼擢吏部。可惜的是，他擢升兵部不久就去世了，卒於會稽（今浙江紹興），諭葬雲門白水塘。

　　著有《生還錄》一卷，《西山老人文集》二十四卷，現已失傳。胡直孺生有十一個兒子，其次子相，字作仲，因守墓就家於裡溪。明正統、景泰間，其十一世有分遷上馮、尉村、後塢。十二世有分遷越城禹跡寺前、橫路、妙家橋。