当时，郑州得京汉铁路与汴洛铁路交会之利，迅速成为一个以棉花贸易为主的商业中心。随着１９０４年京汉铁路的通车，郑州作为商品集散地的枢纽地位渐趋明朗。１９０５年，河南巡抚上奏清廷申请开放郑州为商埠，获批，但后来随着清王朝的覆灭不了了之。民国时期，河南成为军阀混战的主要战场之一。１９２２年５月至１０月，冯玉祥出任河南督军。就在当年，经北洋政府外交部核准，日本驻郑州领事馆成立。

　　１９２７年６月，武汉国民政府北伐军与冯玉祥所部在郑州、开封会师。之后，冯玉祥出任河南省主席。冯玉祥决定设立郑州市，并组织了市政筹备处。其间，郑州地区商业活动一直比较活跃。国内报刊上关于郑州地区的各种报道经常出现，也表明了人们对于郑州这个商贸之地的重视。

　　此时，已经凭借不平等条约在中国沿海、长江沿岸地区获得巨大经济、政治利益的日本商界闻风而至，在郑州开设洋行、推销商品、收购货物、承揽工程，采取各种手段打入郑州市场，并以此为基础，对河南以及西北各省进行经济、政治和文化扩张。有一种说法是，１９２７年，日本驻郑州领事馆主体建筑开建。

　　１９２８年，冯玉祥撤销了日本驻郑州领事馆，但日方并不死心。１９２９年７月，日本政府再次向中国政府提出在郑州等地新设领事馆，经过两年交涉，获中国政府同意。

　　“近代以来，日本在中国尤其是东北地区设立了众多的领事机构，郑州领事馆是抗日战争爆发前在中国设立的最后一个领事馆，也是日本在中原腹地设立的唯一一个外交机构。”一直致力于中国近现代史研究的郑州大学历史系教授徐有礼对日本驻郑州领事馆极为关注，他认为，依据现有的资料，基本可以认定日本驻郑州领事馆第二次设立的时间是１９３１年２月３日，该任领事叫田中庄太郎。

　　对徐有礼的说法，记者从相关档案记载中得到了佐证：１９３１年１月２０日上海《民国日报》、《申报》电讯：“驻汉（即汉口）总领事１９日离汉赴郑，筹备新设领事馆事宜。”２月５日电讯：“新设立之郑州领事馆，于２月３日正式开馆。”

　　“遗憾的是，由于史料的缺乏，目前尚未有一个完整的、准确的日本驻郑州领事馆成员的名单。”徐有礼说，“对领事馆内部机构的设立，我们也知道得不多。”