A mi tambien me sucede, la solucion es reiniciar el juego y tambien tienes que evitar tenerlo minimizado, creo que una vez lei que eso era lo que influia cuando hacian las pruebas. Recuerdo que eso sucede por el log del server que se llena con mas informacion de las cosas que carga.
Si acomodas los gráficos a uno mas fluido (dependiendo de tu PC) tambien te va a ayudar a que el juego lo sientas menos trabado.