Да просто обязать минусующего коментить, это и отпугнет любителей от балды ставить и заставит заодно и подумать за что оценку ставит.

П.С. А ещё можно за комент оценивать(аля Хабр) и если не адекватен минусовать коментирующего