Poichè il Buddismo, come molti altri elementi della cultura giapponese, fu importato dalla Corea e dalla Cina, i primi giardini seguirono gli stili di queste due nazioni; tra i più antichi giardini di cui si abbia traccia possiamo ricordare il To-In e il Kyuseki, fatti realizzare per la corte imperiale presso la antica capitale Nara: il To-In ha una forma rettangolare lunga 60 metri e larga 50 al cui centro vi era uno stagno che, osservato dal lato sud, assumeva la forma di una L rovesciata; sul lato nord era riprodotta una montagna formata da pietre impilate e sul lato sud un' isola. Il laghetto venne ricostruito a metà del VII° secolo e la spiaggia intorno fu arricchita da promontori, insenature e gruppi di rocce, mentre il fondo dello stagno fu ricoperto da piccole pietre che si ergevano dall'acqua per formare delle isolette.
Da elemento di mero arredamento esterno, i giardini divennero simbolo e sinonimo di ricerca interiore quando i monaci Zen promossero l'apprezzamento per le cose semplici ed essenziali; così alla metà del XIV° secolo i giardini subirono una netta trasformazione grazie all'intervento del monaco Muso Soseki ( 1275 - 1351) che, stanco della riproduzione della natura in modo descrittivo e didascalico, realizzo i giardini combinando elementi naturali con la sua ispirazione. Una delle sue innovazioni più eclatanti fu senz'altro quella di realizzare paesaggi tridimensionali, impiegando diverse combinazioni di rocce; inoltre, mentre fino a quel momento le spiagge degradavano dolcemente nell'acqua, Muso Soseki posizionò pietre e rocce sul bordo della riva, delimitandone nettamente i contorni. Seguendo gli insegnamenti di Muso Soseki, durante l'era Ashikaga (1333 - 1537) i giardini passarono dalla oggettività alla soggettività; ogni esecutore caratterizzava la sua opera con precisi tratti identificativi ed espedienti scenografici, come far scomparire un sentiero o un ruscello dietro un gruppo di alberi per dare l'illusione della continuità, alternare alberi sempreverdi con altri a foglia caduca per riprodurre l'alternarsi delle stagioni, rimpicciolire gli alberi via via che si allontanano dal punto di osservazione per simulare la diminuzione percettiva associata all'aumento della distanza. I
l miglior esempio di semplicità ed austerità è senz'altro il Daisen-in di Kyoto, costruito nel 1509 dal monaco zen Kogaku Sotan (1464 - 1548) utilizzando muschio, sabbia che simboleggia il mare e rocce verticali che rappresentano le montagne, da cui scorre un fiume che si trasforma in una elegante cascata. Ma il giardino più conosciuto è forse il Ryoan-ji di Kyoto, costruito a cavallo tra il XV° e XVI° secolo senza impiegare acqua, in cui su uno strato di sabbia bianca sono sistemate a rettangolo quindici pietre di grandezza diversa, alla base delle quali crescono alcuni muschi che simboleggiano le foreste alle pendici di alte montagne. La mancanza di acqua e di vegetazione è una peculiarità di questo giardino che si discosta nettamente dalla impostazioni di ispirazione cinese, come nel caso del Tenryn-ji, al centro del quale vi è un grande lago mentre sulla parte est sette pietre di forma cilindrica rappresentano le stelle principali dell'Orsa Maggiore.
Altro giardino famoso è il Tofuku-ji, costruito all'interno dell'omonimo tempio di Kyoto, con delle isole composte da rocce che richiamano le forme di testuggini e grù, per rappresentare l'immortalità, la longevità e la salute. Anche il Taizo-in è stato costruito nel 1404 all'interno di un tempio, rappresentando il "paesaggio secco" di un ruscello dal letto asciutto, circondato da rocce e vegetazione. I primi documenti sulla realizzazione dei giardini risalgono al XI° secolo; il più antico è il Sakuteiki, un trattato scritto da Tachibana no Toshitsuna e poi ampliato nel 1289, che riflette la sensibilità estetica delle grandi corti e si rifà a documenti più antichi andati persi. Nel testo l'autore sostiene che per realizzare dei giardini di alto livello bisogna studiare le costruzioni antiche, considerare il clima e la morfologia del luogo deputato ad ospitarli, avere ben presente cosa si vuole rappresentare esprimendo il proprio essere all'interno della composizione. Il testo non ha illustrazioni ed è scritto con un linguaggio spesso vago e contraddittorio e inoltre, pur essendo molto preciso e riportando numerosi riferimenti ai vari tipi di isole, di cascate e di combinazioni di rocce e vegetazione che si possono ricreare, non si occupa degli aspetti più propriamente tecnici della costruzione. Tachibana no Toshitsuna evidenzia che la scelta e la collocazione degli elementi devono essere conformi al simbolismo zen e che questi giardini devono racchiudere al loro interno lo spirito della natura riproducendone la forma, in modo da evocare nei visitatori l'idea di un vero paesaggio naturale.
Altra opera fondamentale è il Senzui narabini yagyoo no zu (illustrazioni per disegnare paesaggi montuosi, acquatici e collinari) attribuito al monaco Zoen e rinvenuto su una pergamena datata 1466, che si presume rappresenti l'approfondimento e la spiegazione di una fonte precedente. Il trattato riprende alcuni principi già esposti nel Sakuteiki ma analizza soprattutto il significato simbolico delle rocce e della loro allocazione, giungendo sino ad attribuire nomi evocativi alle varie forme che si possono ottenere dal loro raggruppamento. Anche se meno approfonditamente, di giardini si parla anche in molti altri scritti, quali il Genji Monogatari (i racconti di Genji), il Murasaki shikibu niki (il diario della signora Murasaki) e il Kasuga Gongen reigen ki (i miracoli di Kasuga Gongen), testi ricchi di immagini e descrizioni che illustrano come la realizzazione di un giardino sia considerata parte integrante della cultura giapponese, ovunque questa si esprima. La cosa è tanto vera che, quando una ventina di anni fa a Taranto giunse una delegazione di tecnici della Nippon Steel, incaricati di riorganizzare la produzione del IV° Centro siderurgico della Italsider, questi chiesero ed ottennero la realizzazione di un meraviglioso giardino giapponese all'interno del residence nella città ionica che li ospitava!
Lo scopo di un giardino è quello di imitare la natura nel modo meno artificioso possibile, utilizzando elementi costitutivi che si ritrovano in maniera sostanzalmente costante; tra questi elementi un posto di rilievo lo assume la sabbia bianca rastrellata (shirakawasuna), che si pensa richiami i primi santuari shintoisti ricavati in radure ricavate all'interno di foreste chiamate himorigi (siepe divina), il cui terreno era purificato e reso ospitale per i kami coprendolo con uno strato di sabbia e ghiaia. Era quindi usanza comune, sin dai tempi antichi, spargere sabbia bianca di fronte agli edifici imperiali così come nell'area tra l'entrata principale e il laghetto delle ville aristocratiche (è questo il caso del Daikaku-ji di Kyoto) ed è da queste tradizioni che nasce l'usanza di impiegare sabbia bianca, che però all'interno dei giardini più recenti viene usata anche per emulare il mare ed i fiumi, con le onde e le correnti richiamate dalle increspature dovute al passaggio del rastrello, come nel Daisen-in di Kyoto. La sabbia impiegata non è quella della spiagge bensì polvere di marmo o granito bianco di circa 2 mm di diametro, previlegiando quest'ultimo perché con il suo riflesso riesce a creare la giusta atmosfera illuminando anche le aree circostanti. Insieme alla sabbia, le pietre rappresentano l'altro componente fondamentale dei giardini; queste devono avere una uniforme tonalità di grigio medio per evitare di attirare l'attenzione del visitatore distraendola dal complesso e devono essere disposte in maniera da consentirne la visione da qualsiasi angolazione.
La struttura di un giardino è data principalmente dal tipo di rocce impiegate e dalla loro disposizione; il Sakuteiki descrive dettagliatamente come queste vadano piazzate e nell'incipit fa coincidere la creazione dei giardini proprio con il loro posizionamento. Nella pur notevole varietà di forme, materiali e colori impiegati si possono riscontrare alcuni elementi ricorrenti: in certe composizioni si riproducono in modo stilizzato le montagne della mitologia buddista o con l'associazione di tre pietre (sanzonseki) si evoca la trinità buddista (sanzonbutsu); particolarmente frequente era anche la combinazione di una pietra larga e piatta con una più alta a forma di montagna, che formava la vetta più alta (omo ishi ) di un gruppo di rocce più basse. Tutte le composizioni sono sempre formate da un numero dispari di rocce e particolarmente evitato era un gruppo di quattro, poichè l'ideogramma di questo numero (shi) è molto simile a quello della parola "morte" e veniva quindi considerato di cattivo augurio. Un'altra funzione delle pietre è quella di isole, intese anche metaforicamente come "isole di pensiero", che costituiscono il fulcro delle pratiche di meditazione svolte all'interno dei giardini. Parlando di isole arriviamo all'acqua, presente sia fisicamente che idealmente, con le simulazioni effettuate dalla sabbia; come questa, anche le rocce ed i corsi d'acqua hanno un legame diretto con lo shintoismo; si credeva infatti che un luogo circondato da rocce fosse abitato dagli Dei , e pertanto veniva chiamato amatsu iwasaka (barriera celeste) o amatsu iwakura (sedia celeste) ed allo stesso modo, i fossati ed i ruscelli che circondavano lo spazio sacro venivano definiti mizugaki (recinti d'acqua). Come detto, in alcuni giardini l'acqua è solo evocata; si tratta dei Kare-sansui (paesaggio secco, spazio senz'acqua) e sono quelli che, a partire dalle opere del citato Muso Soseki all'inizio del XIV° secolo, vengono realizzati utilizzando esclusivamente rocce, pietre e sabbia come il Kouinzan, che sorge su una collina all'interno dei giardini di Saihoji. Si ha così una divisione sempre più netta tra il giardino in stile giapponese e il cosiddetto giardino Zen: mentre il primo riproduce la natura sfruttandone gli elementi, magari in scala ridotta (un po' come avviene con i bonsai), il secondo la vuole solo evocare estremizzandola, riducendola all'essen-ziale e stimolando l'osservatore con una sensazione più che con una immagine. Così mentre i primi sono templi della Natura ricchi di piante, fiori, acque e rocce, i secondi hanno un aspetto spoglio ed austero, inteso a favorire l'astrazione e la meditazione e ad essere templi per lo Spirito. Ben si comprende quindi come le due tipologie di giardino non potessero coesistere, tanto che il ricco giardino in stile giapponese era parte integrante della tipica abitazione privata, mentre il giardino Zen poteva essere realizzato solamente all'interno dei templi. Oggi le cose sono un po' cambiate ed il diffondersi della filosofia Zen ed evidenti motivi di praticità hanno diffuso la conoscenza del giardino "secco" anche al di fuori del Paese del Sol Levante, rendendolo una delle particolarità caratteristiche più note e riprodotte anche in Occidente, sia come arredamento ambientale che come ausilio per la meditazione.