胡公壽（1823〜1886），松江人，署款多帶「華亭」二字。張文虎（1808〜1885）在《懷舊雜記》中稱其為景家堰人，即今上海松江區人民南路缸甏巷。胡公壽又號「橫雲山民」，橫雲山為「雲間九峰」之一，亦屬松江。另外，胡氏嘗署「笏溪老屋」，笏溪又在缸甏巷內。此松江指松江府，古稱華亭，又稱茸城、五茸、雲間、鶴城等，而當時的上海為上海縣，所以，《上海縣續志》、《海上墨林》將胡公壽歸為「寓賢」一類。
廿歲前，胡公壽在老家度過，有關這時期的史料幾近缺失，尚難考證。可以推測，他主要隨父母生活。據《安定胡氏族譜》記載，胡公壽高祖胡維鐘，字鯨發，號省庵。太學生，壯歲遠慕遼東。又精於鑑古，搜藏金石字畫，皆名人之跡。曾祖父胡洽，字充符，號璞堂。太學生。壯貌雄偉，賦性伉爽，生平儉約。祖父胡棻，號心香，太學生，謹守繩墨，不預世事。父親胡祥麟（1799〜1848），字子仁，號墨樵。庠稟膳生。為人厚重簡默，嘗遊大梁，旋里後，以詩書自娛，手不釋卷。七入荊闈，屢薦不售。綜上所述，胡家儼然是詩書世家。受家學影響，胡公壽從小接觸文墨，家中又富收藏，有機會摩挲歷代名人墨蹟，為之後的發展打下了堅實的文化基礎。
「只有松江橋下水，無情長送去來船」。廿歲之後，胡公壽離開松江，負笈遊學蘇州、杭州、嘉興、上海等地，直至卅歲後寓居上海，挑起海上畫派的大樑。他在上海的活動，研究者多會注意，從其在詩、書、畫「三絕」上的藝術成就，到他對師友、後世和「海派」形成產生的影響，以及他與海上諸多文人雅士的交遊，皆有文章涉及。然而，有關胡公壽於上海闖蕩之前的生活，在研究上還是一片空白。胡公壽正式定居上海的時間在一八五八年左右，至遲不超過一八六○年，即四十歲之前。他一八八六年去世，所以只在上海居住廿幾年，大半生是在寓滬之前度過。他開始遊歷的時間約在一八四七年，即廿五歲之時，自此至一八五八年，這十多年是他寓居上海前的活動重點，亦是其詩、書、畫不斷提升並走向定型的過渡階段。
一八四七年到一八五八年，正是太平天國運動戰爭爆發前夕，此時南方的文化藝術中心依然是蘇杭一帶，尤其是蘇州。胡公壽交遊的重心即在蘇州，偶爾往返嘉興、松江等地。此期他創作的書畫並不多，詩歌唱酬最為頻繁，如今其留存的詩作多在這時完成。在蘇州，他與奚疑（1772〜1854）成了忘年交，並同戴銅士、雷葆廉、費丹旭（1802〜1850）等人往來。在嘉興，他與陳曼壽（1824〜1884）、秦光第、張鳴珂（1829〜1908）等人結識。
廿五歲那年，胡公壽開啟了吳興（今湖州市）之旅。奚疑在題胡公壽所畫《吳興山水清遠圖冊》中回憶，一八四七年二月，奚疑與費丹旭、雷葆廉、雷瑞甫、戴銅士、胡公壽，一同泛棹遊碧浪湖。小飲後，又一起登道場山，遊歸雲庵，屐孫太初墓。歸舟，費曉樓和胡公壽各作一圖，戴銅士、雷約軒、奚虛白先後成憶舊詞。從這次活動的人數和所經之地看，在此之前，胡公壽應早已認識奚疑等人。
奚疑，字子復，號榆樓，又號虛白。歸安（今湖州）人。家郡城之南，臨溪有樓，近對峴山，植榆七株蔽其外，顏曰「榆蔭」。有《榆蔭樓詩存》、《榆樓題跋》傳世，前書收錄詩作不全，無與胡公壽相關者，後書有多則為胡氏畫作的題跋，且記錄了時間，見證了二人的交往。奚疑也能書畫，常為他人題跋，好畫竹，雖功力未深，風枝露葉，韻趣天然。雷葆廉，字約軒，華亭人。官訓導。工倚聲，有《蓮社詞》、《約軒詩稿》等。雷氏家族在松江名聲甚藉，雷約軒還曾與胡公壽一同為姚燮（1805〜1864）〈懺綺圖〉題跋。