乾隆南巡到杭州，杭世駿也參與迎駕，乾隆見了他問道：“你靠什麼生活？”杭答：“臣世駿開舊貨攤。”皇帝不懂，問道：“什麼叫開舊貨攤？”杭解釋道：“把買來的破銅爛鐵陳列在地上賣掉。”皇帝聽了大笑，寫了“買賣破銅爛鐵”六個大字賜他。

　　據傳杭世駿為人耿介，敢於直言。時值天下大旱，乾隆特開“陽城馬周科”，測驗翰林院官。意在選拔人才，幫他治理國家。杭世駿在這次試卷中直言不諱，條陳建議，提出“朝廷用人”不要以滿漢劃線，應該泯滅“滿漢之見”。“滿州賢才雖多，較之漢人十之三四。天下巡撫常滿漢參半，總督則漢人無一也。何內滿而外漢也？”還說：“三江兩浙，天下人才淵藪，邊隅之士，間出者無幾。今則果於用邊之人，不計其才，不計其操履，不計其資俸，而十年不調者，皆江浙之人，豈非有意見畛域？”話說得懇切。

　　實際乾隆開科，取治國幹才，卻是葉公好龍，一旦真的聽到“直言”，就怒不可遏：“怒抵其卷於地者再，復取視之”。傳說人家幫他說話：他是狂士。乾隆便說：“這種狂士，只能收賣廢銅爛鐵！”杭世駿由是罷歸田裡。他回到杭州，在鬧市擺了一個地攤，布招大書：

　　“奉旨收賣廢銅爛鐵”。一時觀者如堵。

　　記載，乾隆問杭世駿說：“你性情改過麼？”世駿回答：“臣老矣，不能改也。”乾隆問：“何以老而不死？”回答說：“臣尚要歌詠太平。”笑了笑。龔自珍《杭大宗逸事狀》中則說：“癸已歲，純皇帝南巡，大宗迎駕湖上，上顧左右曰：‘杭世駿尚未死麼？’大宗返舍，是夕卒。”不知是真是假。

　　早年升遷

　　杭世駿自幼家境貧寒，勤奮好學，年輕時偶爾過訪友人館舍，見異文祕冊，即端坐那裡默默記下其中要點，用功之勤，可見一斑。王瞿序《道古堂集》曰：“堇浦於學無所不貫，所藏書擁榻積幾，不下十萬卷。堇浦枕藉其中，目睇手纂，幾忘晷夕。”杭世駿經常向他人借書閱讀，並與同鄉樑詩正、孫灝、嚴在昌等人組織讀書會，互相討論學術。雍正二年(1724）考中舉人，屢次赴考進士不中。雍正九年(1731年)，杭世駿在主持纂修《浙江通志·經籍志》時，堅持按事實修志，然而當時文網頗密，官府修志，要刪除違礙字句，因此他的要求遭到拒絕。後曾受聘擔任福建鄉試的同考官。鄉試的考官一般都由進士出身的官員擔任。而杭世駿能以舉人的身份擔任考官，足以說明他在當時影響之大。 乾隆元年(1736），杭世駿應浙江總督程元章之薦考取了丙辰博學鴻詞科，名列一等第五，授翰林院編修之職，校勘武英殿《十三經》、《二十四史》，纂修《三禮義疏》。

　　直言賈禍

　　乾隆八年，久旱無雨，乾隆帝循例下詔求直言，開御史試。杭世駿以為當今皇上納諫入流，於是貿然上了一篇洋洋灑灑數千字的《時務策》，言“意見不可先設，軫域不可太分，滿洲才賢號多，較之漢人，僅什之三四，天下巡撫尚滿漢參半，總督則漢人無一焉，何內滿而外漢也？三江兩浙天下人才淵藪，邊隅之士間出者無幾。今則果於用邊省之人，不計其才，不計其操履，不計其資俸。而十年不調者，皆江浙之人，豈非意見軫域？”主要內容是指責朝廷用人存在偏見。他認為天下滿洲人少、漢人多，而各地總督卻沒有一個漢人；江浙人才輩出，但在政府中多年沒有人升調。雖然，他所寫的內容都能切中時弊，但清朝由滿洲貴族統治，一直存在著防範漢人的心理，杭世駿恰恰是觸及了“滿漢畛域”這個最忌諱的問題。乾隆皇帝一見之下，勃然大怒說：“滿漢遠邇，皆朕臣工，朕從無歧視。國家教養百年，滿洲人才輩出，何事不及漢人？”杭世駿被斥“懷私妄奏”，刑部議處死刑。刑部尚書徐本極力為杭世駿求情，稱“是狂生，當其為諸生時，放言高論久矣”，並不停叩頭，一直把額頭都叩腫了。最後，杭世駿免死革職回鄉。

　　剛開始得知“罪且不測”的訊息時，杭世駿正在參加同僚的宴會，還沒等杭世駿從震愕中回過神來，東道主已先一步作出反應，要趕杭世駿出門，免得連累自己。此後，那些所謂的同僚如同躲避瘟神一樣地躲著他，“杭往話別，輒預戒閽者拒之。”唯獨鄭板橋寫信慰問《與杭世駿書》：“君由鴻博，地處清華，當如歐陽永叔在翰苑時，一洗文章浮靡積習，慎勿因循苟且，隨聲附和，以投時好也。數載相知，於朋友有責善之道，勿以冒瀆為罪，是所冀於同調者。堇浦詞兄，燮頓首。”罷歸之初，杭世駿要麼閉門不出、避人如仇，要麼踟躇在距家很近的吳山幽徑中。但有時他又會倒載而行，招搖過市，目無旁人地大聲吟唱詩句。

　　家居著學

　　杭世駿性格伉直，恃才傲物。他甚至與禮部侍郎方苞發生辯論，引經據典，將一向以經學自負的方苞駁得無言以對。生活上也不拘細節，不喜歡看當時的邸報（邸報是當時政府的內部文告，只有一定地位的人才能看到）。他家居著書或講學，閒居二十年，連當地與他年齡相仿的人做到了大學士、尚書、總督等政府高官，他全然不知道。一次，吏部尚書兼協辦大學士劉綸去揚州安定書院看望他。他問劉綸：“現在做什麼官?”劉綸回答說：“實不相瞞，已經做了很多年大學士了。”杭世駿感到非常驚訝。事實上，杭世駿除了平時講學以外，把其他的時間都用於著書立說上了。儘管與他同一年考中“博學鴻詞科”的許多人都做了高官，惟獨他一人被遣放回家，但是他著的書卻是這些人當中最多的。他較著名的書就有《兩浙經籍志》、《經籍志》、《榕城詩話》、《詞科掌錄》等。杭世駿的詩在當時更是與厲鶚齊名，嘗賦《方鏡詩》二十四首，在京城被傳誦一時。

　　乾隆十六年（1751）得以平反，官復原職。晚年主講廣東粵秀和江蘇揚州兩書院。