可以的，在日本是可以用中国手机上网的。
一、短期旅游/出差
你有几个选择可以上网：
1. 开通国内运营商的国际漫游
比如中国移动、联通、电信都有“日本漫游套餐”；
优点：不用换卡、即插即用；
缺点：贵，一天几十块钱上网不限流量，但长期用不划算。
2. 租Wi-Fi设备
到机场或网上提前租个“随身Wi-Fi”设备；
好处是可以多人一起连，流量大；
缺点是要带个小盒子、记得充电。
3. 买日本的短期SIM卡
到达后在机场、便利店、Amazon买都有；
插入手机就能用，价格便宜，流量自由选；
二、长期生活/工作（比如你拿工作签证）
推荐直接办理日本本地电话卡或上网卡：
比如 Y!Mobile、楽天、ahamo、povo、UQ 等等；
月费一般在 1000~3000 日元之间，速度稳定，长期划算；