不过，根据香港媒体报道，身为二房长子的霍文芳向来不受霍英东的喜爱。
霍英东不愿让儿子经商，但霍文芳就喜欢自己做生意——特别是中国内地的生意。
据说有一年，霍英东在香港接到东北地区某省政府的电话，对方说：令公子文芳不久前和我们商谈“拆烂船”生意，我们已经决定和他合作，并且会大力支持，经历配合。
霍英东当即在电话里回复对方：文芳与你们谈的生意，我一无所知，也与我无关，希望你们慎重考虑，放弃与他合作。
从那以后，霍英东曾多次责骂霍文芳，让他绝对不能打他的招牌与别人谈生意。在1991年，霍文芳因涉嫌非法贩卖军火在纽约被捕后，霍英东极度恼火。尽管花了几十万美元担保或文芳回到香港，但从此后，父子俩形同陌路，再也不说一句话。
甚至有香港媒体说，霍英东已经向很多人表示过，自己不再承认霍文芳是自己的儿子。后公开登报与霍文芳脱离父子关系，并称霍文芳的生意从此与霍家无关。就连霍文芳的离婚官司，霍家也是站在儿媳，而非儿子这边。这也因此出现过，霍文芳其实并非霍英东亲生儿子的传言。
四月，在多次联系霍家无望后，有投资者再次携带写给霍文芳母亲冯坚妮、霍震霆等人的信件到香港邮寄至霍家，质问霍文芳诈骗一事。至今，不见任何回复。
但，一个既然已经几乎是公开被宣布与霍家毫无关系的人，为何能如此轻易地，在内地欺骗了这么多被称为高净值人群的“中产阶级”的呢?难道就真的从来没有人在掏出钱之前，想一想，要不要调查一下吗?
