赵、李两家吃的是皇家饭，而且对于手工的要求比较精细，面对的市场竞争并不大，但是黄家因为是生产相对一般的民用宋锦，竞争对手并不少。
十年前，黄家的势力还远无法和赵、李两家相比，但是大约在七八年前，不知因何缘故，黄家的生意突然就好起来，短短不到三年时间，黄家就挤垮了数家竞争对手，独占大半个宋锦市场，一跃成为三大家之一。
坊间有传言称黄家攀上了了不得的势力，这才能够如此显贵。
也有不少人将这件事归功于黄家的幼子黄世遗，因为正是在黄世遗出生之后，黄家的生意才突然间好起来，但是对于此事黄家人讳莫如深，从来没有对外人谈起过，也不允许府中有任何谈论。
黄家现任家主黄友德，在五十五岁时，侧室为他诞下一子，取名黄世遗，因为是黄友德的第五个儿子，所以众人皆称其为“五少爷”。
坊间会将黄家的境遇和黄世遗联系起来，也不是没有原因的，黄世遗出生后，展示出其非凡的一面，自小不哭不闹，不到七个月就能够下地行走，二岁识千字，四岁便能背诵四书五经，如今不过九岁，更是琴棋书画样样精通，是远近闻名的神童。
坊间传言黄世遗乃是“文曲星下凡”，才气非凡，未来必定显贵，这才使得黄家飞黄腾达，只可惜因为他出生于商贾之家，按照本朝律令，无法参加科举，着实令人感到惋惜，或许正是这个原因，所以家主黄友德对此子一向是放任其自由发展，从不加以限制，听闻最近五少爷似乎打算练武，日后还从军入伍，建立功业。