房屋不能按时入住，agent fee能要回吗？

abide

一个月前跟房东签了合同，约定9月3号搬入，并交了押金和中介费。
结果9月2号房东告知要等到9月9号才能入住。
我决定终止合同重新租房，随即和中介联系，中介说这是房东的问题，
合同签订了agent fee就不能退回。
遇到这种情况，agent fee还能要回来吗？是让房东负担还是agent退还？