杨桃中并不含有毒性物质，适当食用并不会引起机体中毒，因此并没有杨桃什么地方不能吃的说法。但是为了使杨桃的食用口感更好，也为了避免一次性吃太多杨桃对身体健康产生影响，通常建议不吃杨桃棱角边上的硬皮以及种子。
杨桃是一种水果，含有丰富的柠檬酸、苹果酸、草酸、果糖、膳食纤维，以及多种维生素、矿物质等营养成分。适当吃杨桃，能够为机体补充部分所需的营养，也能够为人体的生命活动提供能量，对于人体有一定的好处。但是因为杨桃棱角边上的硬皮，含有较多的草酸、膳食纤维等物质，吃起来会比较涩嘴，影响食用口感。此外，草酸等酸性物质还可能会对口腔黏膜造成轻微刺激，如果本身口腔黏膜比较敏感，就可能会引起口腔黏膜破损、口腔疼痛等不适症状。而且硬皮中的膳食纤维不易消化，进食过多还会增加胃肠负担，可能会引起消化不良，出现腹胀、腹痛、嗳气、反酸等不适症状。
另外，虽然杨桃的种子没有毒性，不会对身体健康造成明显危害。但是杨桃的种子呈黑褐色，种子表皮带有酸甜味，口感会比较差，一般不建议食用。