Вы используете устаревший браузер. Этот и другие сайты могут отображаться в нём некорректно. Вам необходимо обновить браузер или попробовать использовать другой.
В новых версиях Delphi у TEdit есть свойство NumbersOnly.
Если оно доступно в вашей версии - просто поставьте NumbersOnly := True в Инспекторе объектов, и OnKeyPress можно не трогать. Но тогда обычно нельзя вводить ни запятую, ни знак минус.