Le isole che formano il Giappone costituiscono la parte emersa di una grande catena montuosa, in origine appartenente al continente asiatico, dalla quale si staccarono nell'era cenozoica. La lunga e stretta isola principale, Honshu, ha un'ampiezza massima inferiore ai 322 km: in nessun punto del Giappone la distanza dal mare supera i 161 km. Il litorale del Giappone, molto lungo in proporzione alla superficie totale del paese, si estende, con numerose baie e insenature, per 29.750 km. Le coste sul Pacifico sono in prevalenza frastagliate, in conseguenza dell'azione erosiva delle maree e di violente tempeste. La costa occidentale di Kyushu, sul mar Cinese orientale, rappresenta la parte più irregolare del litorale giapponese. Qualche insenatura navigabile si trova sulla costa orientale sopra Tokyo, ma è a sud dell'omonima baia che sono situati molti dei più importanti porti e baie del Giappone. Tra Honshu, Shikoku e Kyushu si trova il Mare Interno, disseminato di isole e collegato all'oceano Pacifico e al mare del Giappone da tre esigui stretti raramente colpiti dalle tempeste oceaniche. La linea costiera occidentale, che si affaccia sul calmo mare del Giappone, è relativamente poco articolata e ha un'estensione inferiore ai 4.830 km; sole insenature rilevanti sono la baia di Wakasa e la baia di Toyama nell'isola di Honshu. Il territorio, molto irregolare, è caratterizzato dal succedersi di alte montagne e vallate profonde, con pianure alluvionali di limitata estensione poste sui fondi valle e presso gli sbocchi costieri dei fiumi. A causa di questa frammentazione delle aree pianeggianti, il terreno coltivabile è modesto, circa il 13,3% della superficie totale del paese. La caratteristica dominante del territorio giapponese è dunque rappresentata dai rilievi, che fanno parte di un unico allineamento montuoso, diviso in diverse catene. I due versanti del rilievo, che attraversa le isole in direzione nord-sud, digradano verso la costa, dove formano baie e insenature portuose. A nord, l'isola di Hokkaido è attraversata da una fascia vulcanica che, partendo dalle Curili, attraversa l'isola, ricomparendo, al di là dello stretto di Tsugaru, nell'isola di Honshu in due file parallele. La catena minore, che si allunga interamente nel nord-est, separa la valle del fiume Kitakami dall'oceano Pacifico. La catena principale si estende invece verso sud-ovest, dove incontra una massa montagnosa che circonda l'altopiano del fiume Shinano, per formare una cintura di montagne, le più alte del Giappone, che attraversano la parte più selvaggia dell'isola. L'altezza massima, 3.776 m, è rappresentata dal monte Fuji, un vulcano in fase di quiescenza situato nei pressi di Yokohama. Esso costituisce uno dei soggetti preferiti dell'arte giapponese per la sua altezza incomparata, la forma singolare e l'eccezionale bellezza. Per i giapponesi rappresenta uno degli elementi territoriali di maggior carica simbolica, sia perché è il vertice dell'arcipelago, sia perché è un vulcano, sia perché la sua ascensione è una sorta di sacra iniziazione alla conoscenza della natura. Tra le catene che formano la massa montagnosa centrale è quella che per la sua imponenza e per la maestosità del suo paesaggio è conosciuta come Alpi giapponesi; la cima più alta di questa catena è il monte Hida (3190 m). Diverse catene montagnose si elevano anche sulle isole di Hokkaido (dove la cima più alta è il monte Asahi-dake di 2.290 m), Shikoku (il monte Ishizuchi con 1.982 m è il più alto della zona) e Kyushu (dove i rilievi sono di altezza inferiore). A testimonianza dell'intenso vulcanismo che, insieme alla forte instabilità sismica, ha caratterizzato la formazione geologica del paese, sul territorio giapponese sorgono ancora circa 200 vulcani, una cinquantina dei quali tuttora attivi, mentre numerosissime sono le sorgenti termali. Le zone pianeggianti più estese, situate perlopiù intorno ai corsi inferiori dei principali fiumi e lungo la costa, si trovano nel Hokkaido: lungo il corso del fiume Ishikari nella parte occidentale dell'isola, lungo il fiume Tokachi a sud-est e intorno alle città di Nemuro e Kushiro sulla costa centro-orientale. Nell’isola di Honshu vi sono diverse zone pianeggianti; le maggiori sono la piana di Osaka, all'interno della zona del Kansai, dove sorgono le città di Kobe, Kyoto e Osaka; quella del Kanto, dove si trovano Tokyo e Yokohama; Nagoya è la principale città della piana di Nobi. Nell’isola di Kyushu la pianura più estesa è quella di Tsukushi.