曹家實際上是家奴出身，即是皇家的“包衣奴才”，他在康熙，雍正的眼中地位類似于曹雪芹所寫的“紅樓夢”中賴家的位置。

康熙皇帝南巡和乾隆皇帝不一樣，康熙皇帝南巡是明顯帶著政治目的的，籠絡江南士人，巡視河道治理，確保江南財富重地的安全，但是在公事之余，游山玩水，縱情享樂也是“摟草打兔子”順手的事，只是這些私事，愛惜名聲的康熙皇帝當然要找自己人來辦，因此住在曹家那是實實在在的把曹家當成了自己人，那是實實在在的恩寵，曹寅也會做官，利用接駕機會邀寵。

曹雪芹的曾祖母孫氏是康熙皇帝玄燁的乳母，曹雪芹的祖父曹寅又是玄燁的侍讀，因此玄燁對曹寅高度信任，正因為此，玄燁才把江寧織造這一“肥缺”給了曹家，并且事實上讓曹家世襲。

康熙六次南巡，四次都駐即曹寅府中，為了奉承最高統治者以圖永保祿位，曹寅四次接駕時，不僅傾注全家財力，還挪用庫銀數十萬兩，在經濟上造成了巨額的虧空。曹寅、李煦還為康熙南巡營建“寶塔灣行宮”，康熙四十四年三月十二日，迎來康熙第五次南巡，御舟開抵三漢河寶塔灣，曹寅奏請康熙皇帝起鑾，康熙皇帝帶著皇太子、十三阿哥，后宮嬪妃駐蹕行宮。在行宮內，又是演戲，又是擺宴，真“比一部書還熱鬧”。

事實上，對于曹家的接駕安排，康熙皇帝還是非常滿意的，對于曹寅虧空公款的事，康熙皇帝心里十分清楚，但是并沒有處理曹寅反而對曹家百般維護，甚至可以說是直接出手幫助曹寅填補虧空，連著歷史上有名的“薄情寡恩”的雍正皇帝實際上都對曹家網開一面，作為皇家的包衣奴才，虧空不是曹家衰敗的主要原因。

因此，在有大臣奏報曹寅等人挪用庫銀時，康熙直接替曹寅開脫罪責:

“曹寅李煦用銀之處甚多，朕知其中情由。”

康熙皇帝把曹寅的虧空原因歸結為三條：南巡接駕、修造行宮和臨行饋送。

康熙并沒有對曹寅等人作出處罰，只是私下告誡他們盡快將虧空補上，康熙四十九年時，康熙因此事一連在曹寅的奏折上批寫了四個“小心”。

康熙五十一年(1712年)七月曹寅一病不起，死在揚州，李煦上奏康熙皇帝，稱:彌留之際，核算出虧空庫銀23萬兩，而且曹寅已經沒有資產可以補上。曹寅死后，康熙不但沒有埋怨曹寅沒有及時彌補虧空，反而多方運作保全曹家。

首先，為保全曹家的江南家產免遭搬遷的損毀，特命曹寅之子繼任江寧織造:兩年后曹寅之子病故，康熙又親自主持將曹寅的四侄過繼過來，接任了江寧織造的職務。

其次，康熙直接出手為曹家彌補虧空，康熙讓曹寅的大舅子蘇州織造李煦代管兩淮鹽差一年，用所得的銀子補齊曹寅生前的虧空。康熙五十四年(1715年)，又查出曹寅生前虧空織造庫銀三十七萬三千兩。康熙再次做安排，讓兩淮鹽政李陳常和李煦代為補還。

雍正即位后，接連頒布諭旨，開始在全國上下大張旗鼓地清查錢糧，追補虧空。他一再聲明，凡虧空錢糧的官員，一經揭發，立刻革職，僅雍正元年，被革職抄家的各級官吏就達數十人，與曹家既是親戚又患難與共的蘇州織造李煦也未能幸免。但曹家并沒有被治罪，看在父皇的面上，雍正特許曹家將虧空分三年還完。

作為皇帝，可以容忍大臣無能但是不能容忍家奴無能，大臣無能，反而有利于皇帝集權，但是曹家身為家奴，如果無能，不能辦好皇帝的私事，皇帝是不會容忍的，最后曹家實際上就敗在無能上。

雍正四年(1726年)，曹負責操辦的緞匹衣料質量“粗糙輕薄”受到重新補償并罰掉一年俸祿的處分，不久，雍正穿的石青緞褂褪色經查又是江寧織造的產品，結果又罰掉曹一年的俸祿，身為織造，連皇帝的衣料都弄不好，自然引起雍正皇帝不滿，曹家的無能由此可知。

雍正五年正月(1727年)，兩淮鹽政噶爾泰向雍正密報揚州、江寧兩地官員的情況，講到曹時說:

“訪得江寧織造曹年少無才，人畏縮，織造事務都交給管家丁漢臣料理。奴才在京見過幾次，人也很平常。”

雍正看后心情憤激，揮筆寫了“原不是一個東西”、“豈止平常”的批語。

到了這個地步，雍正并沒有將曹問罪，而是決定將他召回北京當面考察和訓誡，于是傳旨，命蘇州織造高斌不必回京，他所督運的民卷匹由曹家送來，不料途至山東長清縣等處，曹知：

“于勘合外，多素夫馬、程儀、驟價等項銀兩”

曹家飛揚跋扈，騷擾驛站，勒索賄賂，終于招致雍正“龍顏大怒”，即刻下令將其交由內務府和吏部嚴審。自此，曹家真正的衰敗了。