La residencia del Emperador está situada en el Tokio central, en los terrenos del antiguo Castillo de Edo. En 1547, Ota Dokan construyó en este lugar una fortaleza y se convirtió en la residencia oficial de Tokugawa Ieyasu, en 1590. Ieyasu amplió la fortaleza tras establecer su Shogunato en 1603, transformándola en un gran castillo. El Castillo de Edo era la residencia del Shogun y el centro del poder político en Japón, hasta la caída del Shogunato en 1868 durante la Restauración Meiji. El castillo y sus terrenos ocupaban un área del cerca de 1 millón de metros cuadrados, siendo uno de los castillos más grandes del mundo. Se convirtió en el palacio imperial cuando el Emperador Meiji se trasladó desde Kioto, tras la Restauración Meiji. Partes de los recintos principal, secundario y terciario del castillo se encuentran ahora abiertos al público y se han convertido en un lugar de esparcimiento para los habitantes de Tokio.

Este castillo fue construido en 1580 por Sakuma Morimasa y se convirtió en residencia de Maeda Toshiie en 1583. Permaneció en manos de la familia Maeda durante 14 generaciones. Kanazawa floreció como centro del Dominio de Kaga (ahora parte de la Prefectura de Ishikawa) durante 300 años. Las instalaciones del castillo fueron techadas con namari-gawara (planchas de madera cubiertas con láminas de plomo) por lo que podían resistir el peso de la copiosa nieve que cae aquí durante el invierno.
En 1579, se produjo un incendio y se perdió gran parte del castillo.
Otros incendios posteriores también hicieron su efecto y en la actualidad sólo podemos ver algunos muros del castillo y algunos edificios – la Puerta Ishikawa-mon en la antigua entrada trasera (karamete-mon) y un largo almacén, llamado sanjikken-nagaya.