乾隆四十七年（1782年），祁韻士又受命擔(dān)任國(guó)史館纂修官。他接任后，即通核立傳體制，凡是內(nèi)外蒙古加上衛(wèi)拉特蒙古200余旗以及西藏、新疆維吾爾王公，都應(yīng)該立傳。這對(duì)于當(dāng)時(shí)只有32歲的祁韻士來(lái)說(shuō)，實(shí)在不是容易的事情。他對(duì)于疆域、山川、形勝、古人爵里、姓氏都很透徹，加上在翰林院刻苦學(xué)習(xí)和虛心求教，很快達(dá)到了熟練閱讀和翻譯滿文的水平。他從滿文檔案入手，在滿落灰塵的故紙中悉心翻閱檢索，潛心理出頭緒，按部落立傳，對(duì)照地圖，再以理藩院所存在的各部落的世譜核準(zhǔn)訂正。為了詳述蒙古各部歷史與現(xiàn)狀，他又撰寫出了《皇朝藩部要略》二十二卷。所以說(shuō)，祁韻士編撰少數(shù)民族史地有開創(chuàng)之功，他的著作對(duì)后來(lái)的《清史稿》中的藩部編撰起了重要的作用。

祁韻士可謂“三十而立”之人，29歲考中進(jìn)士不久，便為翰林院編修，32歲時(shí)任國(guó)史館纂修官，編纂《蒙古回部王公表傳》一書，歷時(shí)8年。這是一部享譽(yù)國(guó)內(nèi)外，很有價(jià)值的民族歷史著作。嘉慶年間，他因揭露和鞭撻了官場(chǎng)的貪污舞弊之風(fēng)，成為和珅為首的官僚們的眼中釘。所以，他在仕途上屢屢受挫，直到40歲才補(bǔ)受右坊中允，也就是個(gè)正六品的官。一年以后改補(bǔ)戶部主事，沒(méi)有升官，還是正六品，屬于“平調(diào)”。

嘉慶六年，祁韻士成了正五品的郎中，監(jiān)督寶泉局。寶泉局就是鑄幣局，是制作銅錢的地方，內(nèi)設(shè)銅庫(kù)、錢庫(kù)?！氨O(jiān)督”就是寶泉局的“一把手”，官不大，權(quán)不小。按照寶泉局的慣例，交卸銅貨時(shí)，只要看賬本子就行了，而實(shí)際的庫(kù)存，另外再定時(shí)間進(jìn)行盤點(diǎn)。這就有了大漏洞，長(zhǎng)此以往，必定造成虧空。祁韻士大概是個(gè)書呆子，他到了任上，不了解上述情況，因此，在與前任交接的時(shí)候，也就按慣例辦理。嘉慶九年，上級(jí)來(lái)人檢查銅貨，發(fā)現(xiàn)虧銅很多。這可是大事兒，歷任監(jiān)督全都被逮捕法辦，祁韻士當(dāng)然也在其中，被定為死罪。

當(dāng)時(shí)，朝中的大臣都很欽佩祁韻士的學(xué)問(wèn)和品德，而且也知道他是被冤枉的，所以都向皇帝建議免除祁韻士的死罪?；实郛?dāng)然也了解祁韻士這個(gè)人，于是，就落得個(gè)愛(ài)惜人才的美名，將祁韻士遣戍伊犁3年。

祁韻士在接到圣旨的一天后就踏上了戍途。從生命的高峰一下滑落到谷底，這對(duì)祁韻士來(lái)說(shuō)，當(dāng)然是一次重大的失落?？伤涞闹皇且豁敒跫喢焙陀纱藥?lái)的榮華富貴，他的學(xué)識(shí)，他的才華，不僅沒(méi)有失落，反而因此而得到升華。祁韻士并沒(méi)有悲觀失望，聽(tīng)?wèi){命運(yùn)的擺布，遣戍新疆的經(jīng)歷，反而使他有了親躬神往已久的西部大地，親自了解西北邊陲的機(jī)會(huì)。一路上，祁韻士一改“不好為詩(shī)”的習(xí)慣，幾乎是“無(wú)日不作詩(shī)”，以解旅程之憂，以記沿途之見(jiàn)。

他在《萬(wàn)里行程記》篇首寫道：“西戍之役，余以乙丑二月十八日自京師啟行，閱時(shí)六月，至七月十七日，始抵伊江。時(shí)經(jīng)一百七十余日，路經(jīng)一萬(wàn)七百余里，所見(jiàn)山川城堡、名勝古跡、人物風(fēng)俗及塞外煙墩沙磺，一切可異可怖之狀。無(wú)不周覽遍歷，系于心目。每憩息旅舍，隨手疏記，投行篋中，時(shí)日既久，積累遂多，亦自不置記憶矣。抵戍后，暇日無(wú)事，或愁風(fēng)苦雨，獨(dú)坐無(wú)聊，偶揀零縑碎片，集而省閱，以寄情懷；略加編輾，遂爾成篇。”字里行間，哪有一點(diǎn)發(fā)配之人的愁緒傷感，全然是一個(gè)專家學(xué)者的勤奮與刻苦。

祁韻士一進(jìn)入新疆，處處感到新奇。他在鄯善連木沁見(jiàn)到坎兒井，就寫道：“石罅中突吐一泉，稍北又有一溪從深林內(nèi)涌出，匯合橋畔，淙淙振響，上有萬(wàn)柳陰云為之庇冪，炎天酷熱，頓極清涼。時(shí)看人頭嗥嗥，婦子嬉嬉，飲馬搗衣，往來(lái)不絕，別有天地?！?/p>

來(lái)到炎熱的吐魯番，他記述：“所產(chǎn)棉花遍野，葡萄蔓地而生，不須架引，綠者無(wú)核最佳。甜瓜極妙，以皮瓤純綠為上。”

祁韻士所記的達(dá)坂城是這樣的：“逾嶺迤邐出山，遠(yuǎn)見(jiàn)水草盈目，雪山橫亙北面，數(shù)峰插天，云氣繚繞于下，晨日東升，射照璀璨，爛然如銀，誠(chéng)大觀也?！?/p>