坚决不能吃归脾丸的人不只三类，包括但不限于药物过敏者、感冒发热患者等，在服用归脾丸之前，应仔细阅读药品说明书或在医生指导下用药，确保用药安全有效。
1、药物过敏者：归脾丸含有党参、炒白术、龙眼肉、木香、炙甘草等多种成分，如果患者对其中的任何成分存在过敏反应，食用后可能引发皮肤瘙痒、水疱、红疹等过敏症状。因此，对归脾丸成分过敏的患者应避免服用。
2、感冒发热患者：归脾丸属于滋补类药物，温补性质不利于感冒发热患者的病情恢复，甚至导致症状加重，如发热、头痛等症状加剧。因此，感冒发热期间应避免服用归脾丸。
3、肝肾功能严重不全的患者：归脾丸中的药物成分需要经过肝脏和肾脏的代谢和排泄。对于肝肾功能严重不全的患者，服用归脾丸会加重肝脏和肾脏的负担，进一步损害肝肾功能。此外，长期服用归脾丸还可对肝脏功能造成一定损害，因此这类患者应避免服用。
4、湿热体质者：归脾丸温补脾胃，湿热体质者服用容易加重湿热症状，如口苦、舌苔黄腻、腹胀等。
5、孕妇及哺乳期妇女：归脾丸所含有的药物成分，可能对胎儿或婴儿产生不良影响，因此孕妇和哺乳期妇女应避免使用。
6、脾胃阴虚者：归脾丸主要功效是温补脾胃，对于脾胃阴虚的人，服用归脾丸容易加重体内的热邪，导致口干、咽痛、便秘等症状，应避免使用。
对于可以服用归脾丸的患者，在用药期间应避免食用生冷、油腻、辛辣难消化的食物，如冰激凌、雪糕、辣串等，以免加重肠胃负担，影响药物吸收。