阿部房次郎（1868∼1937）出生於日本近江國彥根（今滋賀縣彥根市），他本姓辻，後來成為阿部家的婿養子。阿部房次郎的前半輩子是一位實業家，曾任職近江銀行、近江精油等企業，後於阿部製紙擔任專務。一九○四年，他進入岳父阿部市太郎所創辦的金巾製織擔任專務，當時金巾製織在生意競爭上已呈現疲乏之勢，阿部房次郎憑藉自己卓越的經商能力，力振公司在市場上的疲態。而後於一九○六年、一九一四年先後與大阪紡績、三重紡績等公司合併，成為「東洋紡績」的創立者之一。
東洋紡績是當時俗稱「六大紡」的領頭羊，公司商務遍足南洋、中國、印度等地。當第一次世界戰爭爆發時，東洋紡績更是承包了歐洲各國所需的軍需布匹，因而成為當時的大資本公司。阿部房次郎身為東洋紡績第四代社長，基於他對於紡織業的功勞，被授與「從六品」的職銜。此時，阿部房次郎正值花甲之年，已然達到事業與名聲的高峰。
與其聲名高峰相媲美的，是阿部房次郎對於書畫的熱愛與收藏。據大阪市立美術館研究員森橋的文章所言，阿部房次郎收藏的契機源於大正十一年（1922）四月。阿部房次郎當時身為東洋紡績副社長，與女婿阿部藤造一同赴歐美進行約八個半月的視察。在參觀棉業工廠以及工業產業的閒暇，竟然也參訪了一百廿九間博物館。經過此次視察，阿部房次郎深有所感，他認為藝術品是精神文明的結晶，是涵養國民精神以及陶治人類情操的資本。然而，當時日本政府並不看重本國的藝術，而是一味地追求歐美的物質文明。
阿部房次郎在卅七歲與卅八歲之間，為了拓展公司事業的版圖，經常走訪朝鮮和中國，因此接觸了中國書畫。相較於日本文物，中國書畫似乎更能打動他的心。很快地，他便將收藏能量轉往中國書畫上。
當時，中國因為時局不穩定，戰亂導致文物流散、毀損。幾位日本的漢學家，見到這個情況，皆痛心於東亞文物的佚散。其中，內藤湖南（1866∼1934）便扮演了相當重要的關鍵角色。
中國近代文物流向海外的趨勢，源於一八六○年的英法聯軍火燒圓明園事件。中國先後經歷了義和團事件、英法聯軍入侵、辛亥革命等戰亂，清朝的崩潰與軍閥惡鬥讓中國的政治經濟處於極度不安定的狀態，不僅讓原屬於皇室的收藏品流落民間，貴族、官宦與仕紳等私人藏品同樣大規模地流散出來。這些文物吸引了歐美藏家的注意，成為他們收購的對象。
當時，經常往來中國的漢學家內藤湖南觀察到此現象，便言：「中國在戰亂的環境下，貴重文物接二連三地流出海外，我們得設法將它們保存在同屬於東亞文化圈、並且從很久以前就有著深厚關係的日本才是！」
身為京都學派學者之一的內藤湖南，有著極為深厚的漢學涵養。他研究中國文化，強調「中日文化同一論」，提出了「文化中心移動說」等論述。他認為文化中心並非一成不變，而是會隨著不同時代，依據環境及時勢產生非線性的變動。在他的論述中，明示著日本將會成為未來東亞文化的中心；保存東亞傳統文化自然是未來領袖的責任之一。
在《爽籟館欣賞第一輯•序》（1930年出版）中，阿部房次郎明確地表達了自己收藏的目的：「導正偏重物質主義、輕視精神文明的風潮，實有其必要性。希望藉由藝術調和人心，培養優雅風氣。相較於歐美，日本設立美術館機構的起步時間較晚，東亞古美術中，又以中國美術成就較高。這樣的中國美術品在兵亂中散佚毀壞，著實令人難以忍受」。由這段序言中，不難看出內藤湖南的影響。在美術商博文堂主人原田悟郎言談中，更直接將阿部房次郎的收藏契機，歸因於內藤湖南身上：「所出示的文物，在性質上與阿部先生向來收藏的東西有很大的不同，故而他對此深感興趣，突然間便開始將它們收集在一起。這點說不定是受了內藤先生的影響吧」、「因為這樣，可就變得非常熱衷了，不僅分別向內藤與長尾（雨山）先生商量討教，又以『如果不調查印章是不行的』為由，透過我和前述兩位先生，一面拍攝文物的原尺寸照片，一面又將之放大，做了很多很多的工作」。語句間顯露出對阿部房次郎認真收藏態度的欽佩，也顯示阿部房次郎的個性：一但投入，便要做足功課，進行深入地研究。