他们得有证据证明他的言辞，否则就是构成了污蔑罪了

仅仅是口头的诽谤，只能属于违法行为，依法可以要求公安机关给予追究。造成了民事损失，可以要求赔偿。但是如果造成严重的后果，有可能构成诽谤罪。刑法第246条规定：诽谤罪，是指故意捏造并散布虚构的事实，足以贬损他人人格，破坏他人名誉，情节严重的行为。

《中华人民共和国刑法》 第二百四十六条 以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。前款罪，告诉的才处理，但是严重危害社会秩序和国家利益的除外。通过信息网络实施第一款规定的行为，被害人向人民法院告诉，但提供证据确有困难的，人民法院可以要求公安机关提供协助。