一般来说，抚养权在女方,男方想要回抚养权的话，可以先和对方进行协商解决。如果双方协商不成的话，可以向人民法院进行起诉。如果可以证明某一方有一些恶习，有证据证明孩子跟着对方不利于孩子成长的，法官往往不会判决给这一方。要更改孩子的抚养权，需要双方协商一致签字即可，也可以到公证处公证，也可以去法院解决这个问题。人民法院在审理离婚案件对子女抚养问题时，应当按照民法典，以及有关法律的一些规定，根据有利于子女身心健康并且能够保障子女的合法权益出发，以及结合父母双方的抚养能力，和抚养条件等具体情况，来进行妥善解决抚养权问题。