顏師古是名儒顏之推的孫子、顏思魯的兒子。少傳家業，遵循祖訓，博覽群書，學問通博，擅長於文字訓詁、聲韻、校勘之學；他還是研究《漢書》的專家，對兩漢以來的經學史也十分熟悉。

　　隋文帝仁壽年間，由尚書左丞李綱舉薦，任安養縣（今湖北襄樊）尉。尚書左僕射楊素見其年少，問他：“安養劇縣，子何以治之？”顏師古回答：“割雞焉用牛刀。”楊素驚其誇口。後來果然以政績突出聞名。後因坐事免職居長安，十年不得官，家貧，以教授為業。
隋大業十三年（公元617年），太原留守李淵起兵入關，顏師古從父至同州朝邑長春宮謁見，被授予朝散大夫之職。

　　唐武德元年（公元618年），李淵稱帝建立唐王朝，拜顏師古為敦煌公府文學，轉起居舍人，再遷中書舍人，掌機密，專典皇帝詔敕。軍國政務等重大詔令皆出於顏師古之手，其文才當時未有敢於與其相比者。顏師古勤於政事，又擅長文辭，其所擬製誥冊奏之工整美好，名冠當時。

　　唐武德九年（公元626年），秦王李世民即皇帝位，顏師古被擢為中書侍郎，封琅琊縣男。後坐事兩次被貶。顏師古聰敏好學，精於訓詁。

　　唐貞觀七年（公元633年），顏師古被任命為祕書少監，專管校定古書的工作，每遇疑惑不解的奇文難字，他都能一一辨析，並說明其本源。貞觀十一年（公元637年），顏師古奉詔與博士撰寫成《五禮》，進爵為子。後又奉太子承乾之命注《漢書》。貞觀十五年（公元641年）書成，進祕書監，以文學入選崇賢、弘文兩館學士。《漢書注》是顏師古晚年力作，在審定音讀、詮釋字義方面用功最多，成績最大，解釋詳明，深為學者所重。當時即有“杜徵南（杜預）、顏祕書（顏師古）為左丘明、班孟堅忠臣”之稱譽。

　　貞觀十九年（公元645年），顏師古隨從太宗徵遼東，途中病故，終年65歲，諡曰“戴”。墓地位於今山東省蘭陵縣蘆柞鎮前蘆柞村東南。