1882、1883年，“东洋茶楼”进入全盛时期。上海的《点石斋画报》报道曰：“日本妇女结队来中国，在上海开妓馆，以及设茶楼为妓馆者，几乎遍地都是，尽人调戏，全不知羞耻。”
“东洋茶楼”的靡乱堕落，引起了日本领事安藤太郎的高度注意，安藤太郎是基督教信徒，又是一位禁酒运动的倡导者，他对“东洋茶楼”卖淫的泛滥本能地反感，同时，作为外交官，他对“南洋姐”在上海的扩张，深为担忧，认为有损日本帝国的体面。
1883年8月24日，日本驻沪领馆颁布《清国上海居留日本人取缔规则》，重申“衣冠不整者，不准外出”、“即使在室内也不能坦胸露肚”等规定，目标直指这群伤风败俗的、有损日本国民体面的“南洋姐”。1884年末，日本驻沪领馆又特地从日本内地召集4位巡查，对四马路上的“东洋茶楼”和西华德路上的“日本女郎屋”严加盘查，扣押了幕后老板青木权次郎。不仅如此，日本驻沪领馆还积极推动所谓的“国民觉醒运动”，东和洋行等从事“正业”的公司公开告示，拒绝与“南洋姐”为伍，拒绝“南洋姐”入住。
1885年4月5日的《朝野新闻》，总结了上一年日本驻沪领馆“扫黄”的战果：“去年在上海的卖淫者多达七八百名，在安藤领事的努力之下，许多人被强制送还，今日已减少至200余名，同时，东洋茶室也减至10轩。可是，这些被遣送的娼妇，又远渡数百里的西南，在新加坡开出买淫店，目前已达30轩，还有一些转移至越南、东京等地”。
《朝野新闻》点明了两个事实：一是上海地区的“南洋姐”受到打压，盛况不再；二是南洋姐在上海失去根基后，作鸟兽散，前往香港或新加坡谋生。由此，上海成为“南洋姐”前往南方的重要中转站。
当然，并不是所有滞留上海的“南洋姐”，最后都去了香港或新加坡，有些“南洋姐”选择了继续留在上海，也有一小部分甚至渗透到中国的农村地区和中小城市。譬如说，1904年11月，汉口的日本领事长泷沿着正在建设中的北京-汉口之间的铁道沿线视察，当时线路只是开通到河南省的信阳府附近。但在郑州附近的黄河架桥工地，长泷领事发现有12名“南洋姐”也在现场，仔细打探，方知有一些比利时工程师在那工作，这些“南洋姐”临时当上了比利时工程师的小妾。在如此交通不便的内陆地区，“南洋姐”也能长驱直入，寻找“商机”，从中可见“南洋姐”的能量。
前来上海的“南洋姐”，在初始阶段，主要以中国人为服务对象，这与当时日本的弱国地位相适应。中日甲午战争以后，随着日本在亚洲的军事扩张及在华治外法权的获得，“南洋姐”也不断提高自己的“身价”，到20世纪20年代，她们更是公开地以招揽西洋嫖客为荣。有一张20世纪20年代中期摄于上海街头的照片，对此作了绝妙的注释，两位身穿和服的“南洋姐”，露襟敞胸，毫无羞耻地站立在妓院门外，招徕客人，旁边的木招牌上，用英语写道：“一流的日本人妓院”、“有带浴室的房间”、“备有啤酒、葡萄酒和软饮料”，是“中国最清洁的场所”……高级妓院的“自豪”之情，溢于言表。