El golf, tal como lo conocemos hoy, nace en algún lugar de la costa este de Escocia a principios del siglo XV. Algunos historiadores sostienen que el golf se originó en los Países Bajos (la palabra holandesa kolf significa palo), pero los romanos tenían un juego en el que usaban un palo curvado y una bola hecha de plumas, que puede haber sido la fuente original del juego.

Alcanzó tanto auge que el rey James II se vio obligado a promulgar un acta en 1457 que ponía límites a su práctica para evitar que la gente jugara durante el tiempo que debían dedicar a practicar el tiro con arco (es el primer documento escrito en el que se hace referencia al golf). Sin embargo la ley no tuvo mucho éxito.

Los escoceses, sin embargo, ignoraron ésta y otras leyes similares y a principios del siglo XVI, el rey Jacobo IV de Escocia, admitió el juego del golf. Su nieta María, más adelante María I Estuardo, llevó el juego a Francia, donde fue educada. Sus ayudantes en el campo de golf eran conocidos como cadets (alumnos); el término se adoptó luego en Escocia e Inglaterra y se convirtió en caddy o caddie.

La primera referencia al golf en la población histórica de St. Andrews data de 1552.

En España, el primer club de golf se creó en Las Palmas (Gran Canaria) en 1891.

En 1894, se estableció la Asociación Americana de Golf (United States Golf Association - USGA) para regular el juego en Estados Unidos y México. Además de las reglas se ocupaban del sistema de handicap. El US Open US Amateur femenino se inauguró en 1895.

En 1921, el R&A impuso un límite en el tamaño y peso de la bola de golf que produjo una separación entre el juego en Europa y América (regulada por el USGA). La mayoría de las diferencias se resolvieron en 1951 cuando ambas asociaciones aceptaron unas reglas comunes. Sin embargo las diferencias en la bola no se regularon hasta 1988. Actualmente el golf mundial se regula conjuntamente por la R&A y la USGA. Cada cuatro años acuerdan las modificaciones que se publicarán en las Reglas Oficiales de Golf.

El campo de Augusta se abrió en 1933. El primer US Masters se jugó allí en 1934 y fue ganado por Horton Smith. Gary Player de South Africa rompió el monopolio americano al ganarlo en 1961.

Posiblemente el golpe de golf más famoso que se haya dado nunca sea el que realizó Alan Shephard golpeando una bola en la luna en 1971, que fue visto por una audiencia de millones de personas de todo el mundo. ¿Hace esto al golf el primer deporte practicado en el espacio?. El palo que empleó está en el museo de la USGA.