因為父親黃定華是徽商，黃賓虹家境優(yōu)裕。24歲，黃賓虹結(jié)婚后的第二年，復(fù)往揚州，經(jīng)友人介紹謀得兩淮鹽運使署文書一職，所得薪資正好收購字畫。據(jù)載，當(dāng)時正值鹽政改革，鹽商業(yè)務(wù)失敗，紈绔子弟不事生產(chǎn)，只得變賣家藏度日，而且不分好歹貴賤，任意出售，黃賓虹則趁機收購。

黃賓虹去揚州拜訪親戚何維鍵（號芷舠，由湖北官任上辭官退隱到揚州，購買了片石山房并擴建為寄嘯山莊，俗稱“何園”）。何維鍵家富收藏，除了明清畫作，還拿出黃公望、倪云林、黃鶴山樵等元人名畫給遠道而來的黃賓虹欣賞。他又把黃賓虹介紹給當(dāng)?shù)厥詹丶页躺旋S，使黃氏得以親覿明末清初的石濤、石谿、漸江和鄧石如、包世臣等人的作品。

1904年，39歲的黃賓虹受同鄉(xiāng)之邀，到蕪湖的安徽公學(xué)去襄辦校務(wù)，當(dāng)時蕪湖是東南革命志士的集中地，也是民族民主革命思想交匯之地。黃賓虹與黃節(jié)、鄧實等人的友情也因辦學(xué)建立起來。后來黃賓虹與鄧實一起編印的《神州國光集》與《美術(shù)叢書》，也是他們廣泛涉獵金石書畫收藏之后的產(chǎn)物。之后的“貞社”也是以他和宣哲為主，集合愛好金石書畫收藏、鑒賞的團體。

辛亥革命爆發(fā)后，封建世家、名宦巨公紛紛逃入上海租界，也有封疆大吏、官紳富商在上海開設(shè)古玩鋪，文物收藏流入市場被外國人搶購。王秉恩和吳巽沂（吳仲坰之父）在舊跑馬廳，開辦名為“和光閣”的古玩鋪買賣書畫，黃賓虹、吳昌碩、狄平子等都是?？汀?/p>

袁世凱篡奪革命果實后，南社成員、同盟會會員四散，“國學(xué)保存會”改為“神州國光社”，且增設(shè)古物流通處，鄧實也開始兼營古物買賣業(yè)務(wù)。隨之黃賓虹也開了一家“宙合齋”文物鋪。1935年5月24日余紹宋來滬過訪，觀黃賓虹所藏，在日記里寫道：“濱虹出卅余幅出示，多佳者，惜匆匆展視，不能仔細領(lǐng)略耳。其中最賞者為董文敏、王叔明、仇十洲、汪芝瑞、戴鷹阿、鄭慕倩、釋石濤、沈石田、唐六如等，賓虹喜藏皖派山水，蓋懷念其鄉(xiāng)先達之意?！庇嘟B宋時任杭州《東南日報》特種副刊《金石書畫》的主編，于是向黃老商借所藏歷代名人書畫，比如夏昶、董其昌、漸江、石濤等人的作品在該刊發(fā)表。

1936年，黃賓虹重回安徽老家，與夫人一起再登黃山，追吊漸江的故墓。此后下半年他就應(yīng)北平古物陳列所之聘北上，除了審定故宮南遷書畫以外，還兼任北平藝術(shù)專科學(xué)校講師。

據(jù)他自己說，“近伏處燕市，謝絕應(yīng)酬，惟于故紙堆中，與蠹魚爭生活，書籍、金石、字畫，竟日不釋手?！彼栽诖似陂g，他將積累了三四十年的資料整理、分析、歸納，編成一部《漸江大師事跡佚聞》。在這個過程中他還找到許多石谿與垢道人程邃的資料，所以他閉門整理舊稿，寫出了包括《釋石谿事跡匯編》和《垢道人佚事》在內(nèi)的三部畫家傳記。在日本人侵占北平的大環(huán)境下，目擊時艱，他著力研究這三位明末清初的畫家，有著特殊的意義。

在這段寂寞的歲月里，他把玩金石書卷，將看到的書畫題識、題詩、拓本跋尾、古籀考釋等隨手摘抄下來，據(jù)此編寫了畫史匯傳《文徵明》《沈石田傳》，先后在神州國光社印行。

寓京十年后，黃賓虹在1948年選擇南歸。時事不靖，民生痛苦。從當(dāng)時他與友人的往來信件中可見，當(dāng)時他的生活稱得上捉襟見肘，甚至開始出售所藏書畫。在給王聰?shù)男胖兴麑懙溃骸八笔澄锶保跤诒狈?。交通乏暇，友助亦缺。不得已將于兩浙有關(guān)文物貶值斥賣，然對故都收入已減?！趾D尚有徽歙先哲書畫數(shù)十件，滬上有無兜售之處？聞家鄉(xiāng)長王允孝翁欲以賤值取之，諒不到外省人半價，因此保存身邊作伴（能銷當(dāng)即抄單寄奉）?！?951年在給張虹的信中他再次寫道：“杭滬各省通車已便，巨室舊藏出而易米，時有所見?！焦庞裢乇鞠?zāi)∫患垺！?/p>

夏承燾在《天風(fēng)閣學(xué)詞日記》里，記錄了黃賓虹自1948年定居杭州直到1955年去世這生命中最后7年的時間里與湖上諸多友人的交往，這些文字資料為我們了解黃賓虹的收藏提供了最翔實的依據(jù)。

1948年10月9日，黃賓虹在外西湖藝專畫廊展出所藏古今名畫40件，并親臨會場講解。馬一浮、金息侯諸儒皆臨會欣賞。據(jù)標(biāo)為10月10日寫成的文獻記錄：“有小李將軍（李昭道）山水，趙松雪（孟頫）、羅兩峰（聘）、朱白民（注：鷺）山水花卉，又有隋大業(yè)間一沙門紙畫神像，皆極名貴?！边@僅僅是黃賓虹收藏的冰山一角。

1949年黃賓虹致信曾香亭、段栻：“敝藏有鄒臣虎一冊，有笪重光題云原有十二頁，中只四頁是真跡，余為門客所作。惟此為金山寺僧所藏，系查聲山后人留北平者，前十年流入廠肆購得之。惲道生有扇頁一個，極精美，前年為張宜之以張恂畫卷易去，今尚存數(shù)件頗精者。宋元名家真跡，平時最宜多見，能收藏更佳。或臨摹既多，心得有說不出之妙，在心領(lǐng)神會中，深者見深，淺者見淺。即后人臨古之作，亦當(dāng)收藏，明其優(yōu)劣。金石文字有關(guān)作畫用筆處尤多，故畫必當(dāng)研究金石文字?！盼飿O不易遇，而摹仿者亦不必盡棄。東坡言寓意于物而不留意于物可耳?！币荒旰笥质觯骸氨植攸S山新安先哲畫數(shù)十家，如明人詹景鳳、丁云鵬、程孟陽、李流芳均有一二，惟簡筆最可愛?！秉S賓虹謂偏愛新安畫家李周生，有仿前人簡筆之作，因其簡筆而能繁，尤為可貴。

作為一個畫家、收藏家和鑒賞家，不乏想與其探討藏畫，甚至親眼一觀之人。對于這些慕名而來的友人，他從不憚煩，但必先問明欲觀賞之流派，然后出示古畫。他曾說：“來客要看四王一派的畫，如果拿董、巨的作品，可能不合對方脾胃，反之也是同一道理。否則來客要懷疑我拿不出珍品來，或者認為是搪塞他們?！秉S賓虹收藏的豐富，可想而知了。