有清一代，自皖南大阜村遷蘇的以潘奕雋、潘世恩、潘祖蔭為代表潘氏一族，無疑是郡中之望。對於潘氏收藏的故事，由於近百年間的廣泛傳說，早已為人們所津津樂道。蘇州城中至今仍留有潘氏一族故居數處，如新近修復的鈕家巷潘宅，為潘世恩舊居所在。嘉道間，張深、王學浩、張崟曾先後為之作〈臨頓新居圖〉三幅，其子潘曾沂曾遍徵題詠，堪稱藝林盛事。潘世恩、潘祖蔭祖孫由於是科考三甲出身，並都官至冢宰，聲名尤盛。潘奕雋（1740∼1830）是潘世恩的伯父，因與清代著名藏書家黃丕烈為密友，參加問梅詩社雅集，而為人所熟知。

他於乾隆末年移居西花橋巷，其子世璜（1765∼1829）雖以探花及第，卻不樂仕進，早早就退居林下，奉老娛親，且先於其父一年去世。潘世璜的夫人是收藏家陸恭的女兒，陸氏松下清齋所藏碑帖、書畫，乾嘉以來，就已名動江南。潘世璜之子潘遵祁（1808∼1892），字順之，號西圃、簡緣退士、髯圃。道光廿五年（1845）進士，與其父相似，他也很早就淡出官場，息影吳門。著有《西圃集》、《香雪草堂書目》等。在父親、祖父相繼去世後，潘遵祁接手家業，並在光福山中營造別業，即著名的香雪草堂。與其子潘觀保（1828∼1894，字辛芝）先後請道咸間著名的山水畫家戴熙繪製與三卷〈臨頓新居圖〉相似的三張長卷：〈四梅閣圖〉、〈山居圖〉、〈湖山偕隱圖〉。戴熙（1801∼1860），字醇士，號鹿床、井東居士。浙江錢塘（今杭州）人。道光十一年（1831）進士，官至兵部侍郎。

咸豐十年（1860）太平軍攻佔杭州時，殉於難，贈諡文節。著有《習苦齋畫絮》等。其人工於山水，為清初四王後進，與武進湯貽汾並稱「湯戴」，聞名於世。這三卷傳到清末民初，由潘遵祁曾孫、潘觀保之孫潘承謀（1874∼1934，字軼仲，號省庵）保藏，各卷中有「經郛審定」朱文方印、「彥均室藏經籍書畫」白文長方印、「吳中潘氏彥均室藏」白文長方印等，都是證明。民國十四年（1925），三卷曾被交予上海有正書局，合併影印成《戴醇士三卷合冊》一書，收錄三卷畫心、引首及俞樾書〈香雪草堂記〉一篇。而今三卷收藏在蘇州文物商店。一九八六年，全國古代書畫鑑定小組來蘇認定時，將它們確定三卷為真跡無疑，同時認定〈四梅閣圖〉為戴熙傳世之精品，此後該卷畫心部分，被收入《中國繪畫全集•清代卷》第十二冊，足見其重要性與代表性。不過，更讓人在意的是，三卷中的如煙往事，更為傳奇。