Que tengo que instalar para comenzar con java en Windows

Descargar e instalar JDK (Java Development Kit). Es la plataforma de desarrollo de java. Incluye los compiladores y las librerías para los programadores.

Una vez descargado e instalado hay que definir las variables de entorno en Windows, para poder compilar.
Para hacer esto ejecuta SystemPropertiesAdvanced.exe

Y te muestra la siguiente ventana.

En la pestaña Opciones Avanzadas hace click en el botón que dice Variables de entorno y te muestra lo que sigue

Son las variables de entorno del usuario actual y del sistema.
Busca la variable PATH, tanto en usuario y en sistema y pone editar.

Las direcciones están separadas con un ";" , por lo tanto agrega un ; y la direccion en donde se instalo el bin de jdk. En mi caso es
"C:\Program Files\Java\jdk1.6.0_17\bin"

Listo.