La idea del jardín japonés es representar la belleza de la naturaleza, imperfecta, el desorden y el equilibrio inestable, buscando un efecto que no parezca artificial. En general, se trata de espacios cerrados, aislados del exterior. Con ello conseguimos calma, serenidad, relajación y una vista mucho más nítida y agradable. El cerramiento se hará siempre con materiales naturales (bambú, setos, cañizo o láminas de brezo). Se pueden distinguir dos grandes grupos:
- los jardines de paseo (diseñados para caminar a lo largo de sus senderos)
- los jardines de aposento (pensados para ser contemplados desde algún punto concreto)
Para entender un jardín japonés, hay que localizar su elemento fundamental, la roca (de diferentes medidas y texturas), esqueleto a partir del que se distribuyen el resto de piezas imprescindibles: agua, islas, puentes, linternas de piedra o casas de té. El agua muchas veces se simboliza mediante la arena y la grava, simulando con un rastrillo las ondulaciones que muestra en la naturaleza.
Tanto las desigualdades del suelo como las colinas artificiales se utilizan para diseñar el espacio, colocándose los ejemplares vegetales sin orden aparente. Las plantas más comunes son el bambú y el pino negro japonés, aunque otras especies adecuadas son el arce japonés, la azalea, camelias, cotoneaster, lirios, crisantemos, helechos, enebro chino, cerezo, rododendros o flor ave del paraíso. Todo el conjunto crea una armonía visual pocas veces conseguida en cualquier otro tipo de jardín.
Otro punto importante es la relación tiempo y jardín, ya que los distintos elementos están distribuidos de manera que su percepción sea distinta en cada estación del año, haciendo visible el fluido paso del tiempo.