「嘎三胡」，在上海方言裡指的是閒聊、聊天的意思。有關「嘎三胡」典故來源眾說紛紜，其中最為人熟知的說法是：開埠以後的上海灘，有所謂赫赫有名的「海上三胡」─即紅頂商人胡雪巖、書畫雙絕胡公壽，還有青樓名豔胡寶玉（《瀛儒雜誌》）。「三胡」在當時炙手可熱，如以今日的眼光來看，如同「自帶流量的網紅」，所及之處皆能引發風潮，成為街頭巷尾、茶餘飯後議論的對象。滬人遂以「嘎三胡」一語，借指為閒話聊天。精打細算的商人、豔冠當代的名妓，可說是財富與美貌的化身，本來便深具傳奇色彩。但胡公壽身為一介舞文弄墨的書畫家，身無功名亦非政要，又是如何能在人才濟濟的大上海灘中鵲起，甚至能與胡雪巖、胡寶玉同列富甲一方之名人呢？
胡公壽（1823∼1886），名遠，字公壽，書畫以字行，松江人。號瘦鶴、橫雲山民、小樵、寄鶴、戇父、戇甫等，齋名為「寄鶴軒」。著有《寄鶴軒詩草》（今已不存），詩文大多散見書信字畫和他人轉錄中。一八七六年五月廿九日，《申報》首次出現高度評價胡公壽的文字，稱其繪畫「天骨開張，筆勢超縱」，使乞畫者「踵趾相屬」，儼然是滬上書畫圈的寵兒，「以書畫噪遐爾者」。同年，葛其龍《滬瀆雜記》描述：「上海為商賈之區，畸人墨客，往往萃集於此，書畫家來遊求教者，每苦戶限欲折，不得不收潤筆，其最著者，書家如吳鞠潭（淦）、湯曛（經常），畫家如張子祥（熊）、胡公壽（遠）、任伯年（頤）、楊伯潤（璐）、朱夢廬（偁）諸君，潤筆皆有仿帖」，點出當時胡公壽已位列潤資不斐的畫家群體之中。
王韜（1828∼1897）是晚清著名的思想家、評論家，親身經歷中國近代的發展和變革。他於上海期間陸續增補的《瀛壖雜志》「專記上海一邑之事」，被後人稱為「縮本上海志」。其幼讀經史，向來恃才傲物，卻對胡公壽相當推崇：「胡公壽……屢試於有司，不售，乃棄而學畫。蕭疏淡遠，不名一家，而於山水所造尤深，顧不肯輕易為人作也。書法逼真大家，後又肆力於詩，人因號為橫雲三絕」，更說他「工書畫，在某伯（姚燮）之上，人亦風流倜倘，誠雋才也」。
有關胡公壽出身及家世的研究資料較少，松江地方志載其：「清松江府婁縣人，家住西門外景家堰」，工書善畫，「名動九卿，所居近九峰中之橫雲山，故署款或書橫雲山民」。父親胡祥麟（1799∼1848），字子仁，號墨樵，廩膳生員，以詩書名。高祖胡維鐘，字鯨發，號省庵，輯《胡繩集詩鈔》三卷並有跋記之：「右《胡繩集》三卷，先曾王母范太夫人之詩也。太夫人平生所著繁富。勝國時，吳中范長白先生（范允臨）選刻者，什之六七。洊更喪亂，版毀兵火。百年以來，捃拾散亡，搜求遺佚，今存者僅什之三四矣」。《胡繩集詩鈔》刊刻於乾隆年間，另有乾隆三年（1738）沈大成〈序言〉：「夫人有《胡繩集》八卷，長白先生實為選刻，陳徵君眉公（陳繼儒）所手評者也。鼎革之際，版毀兵火，故楮零縑，罕有存者。夫人之曾孫鯨發（胡維鐘），懼先著之失墜，訪求積年，攟摭散佚，得古今體詩若干首，分上中下三卷，曰《胡繩集詩鈔》」。胡文所述「先曾王母范太夫人」即晚明才女范壺貞。范壺貞，字蓉裳，號淑英，華亭人。祖父范允臨（1558∼1641）是北宋名相范仲淹（989∼1052）十七世孫，工書善畫，時與董其昌（1555∼1636）齊名。范壺貞之父名范選，舉孝廉。壺貞後來嫁給世居蘇州的諸生胡蘭（號畹生，胡公壽九世祖）為妻，胡家也是地方名門，沈大成《學福齋集•胡繩集詩鈔序》稱：「亦世家知名士也」。范壺貞詩歌造詣頗深，亦懂繪事，有〈煙雨樓圖〉及題畫詩流傳。范允臨曾將其詩文輯為《胡繩集》八卷，倩當時已是耄壽之齡的陳繼儒（1558∼1639）作序。「胡繩」之名自取自《離騷》：「矯菌桂以紉蕙兮，索胡繩之纚纚」，從中可見范允臨對這個姪孫女的欣賞和美好期盼。