В английском языке эта идея в принципе может выражаться с помощью предлога of (ср. cup of tea, the 15th of December).
Русский же язык в этом отношении просто идет еще дальше. Мы говорим не только cup of tea = чашка чая и the 15th of December = пятнадцатое (число) декабря, но и *3 of hour (в английском не существует) = три часа (так же, как cup of tea = чашка чая и и the 15th of December = пятнадцатое (число) декабря).
В современном языке это происходит потому, что "чашка чая" - не 100% чая, а "три часа" - не 100% часов.
И так в русском языке будет каждый раз, когда есть идея множественности: больше одного, но меньше целого (не 100%).
Но почему же после 2-4 используем род. пад. ед. ч. ("часа"), а после 5-20, 30 и т.д. - род. пад. мн. ч. ("часов")?
Дело в том, что в старославянском (и праславянском языке) были формы не только множественного, но и двойственного числа.
Для муж. р. (в им. и вин. пад.) эти формы совпадали с формой современного род. пад. ед. ч. (ср.: из рода (род. пад. ед. ч.) - два рода (вероятно, им. пад. дв. ч.), а для ср. и жен. рода просто были похожи.
В последствии формы двойств. ч. почти полностью совпали с формой род. пад. ед. ч. (исключание: чашка чаЮ, много народУ) и стали восприниматься как слова, стоящие в этой форме (о двойственном числе см., например, здесь http://ru.wikipedia.org/wiki/Двойственное_число ).
Начиная с числа 5 в современном русском языке уже точно "начинается" мн. ч., поэтому "часов" тоже стоит во мн. ч.