是我想多了吗？

请问： 

我的现任把他手中的一套投资房出租给了他的前任。有中介公司每月收租。这样做是为了孩子上学方便。他们有一个女儿。女儿大部分时间跟妈，母女俩就租住在我现任的这套房子里。我和现任一起五年了，住在一起，打算将来结婚。问题：因为他比较handy, 现在出租房那里有啥乱七八糟修修补补的，他就亲自出马。他不愿中介找工人，主要为了省钱，这个可以理解。但是，他这样经常要跑到前任家里去，让我心里有点难受。当然，我知道他不会有什么越轨行动，但是... 毕竟...  

你们怎么看？是我想多了？