晋南一带地窄人稠，外出经商成为当地百姓的谋生之道。待到明清年间，晋商已遍及各地，故有言道："京师大贾数晋人"。晋商之成功，在于众，聚众为势，聚商为富。道光元年，山西五晋商共组聚商会，因咸福盐铺资金最为丰厚，其东家康泽被推选为首任会长。至道光四年，康家因私铸官银被抄家灭门，聚商会受此牵连名存实亡，乔、常、曹、王四家纷纷避嫌，各自经营。
道光十五年，地方贼寇猖狂，货物运转困难，山西四大富商决意共赴北京城，重组聚商会，以商讨对策。巧的是，现下的四大富商亦是当年的聚商会成员，日昌颜料铺乔氏、泰丰茶铺常氏、裕和药铺曹氏和同庆盐铺王氏，四家各出代表，从中选出新任会长。