不動産購入の頭金について

結婚のために2400万円で建て替えました。その時に彼が600万 私が400円の頭金を出して、残り1400万を彼が住宅ローンを組みました。離婚をすることになり、ローンの残り1300万余りを私が払うことになりますが、彼が頭金の返還請求をしています。頭金を出したのは、結婚4ヶ月前です。最初は頭金の差額分でいいと言ってましたが、全額返還請求もしてきそうです。そういう場合は返さないといけないのでしょうか？ 頭金は特有財産になると聞いて、全額返還するべきと言われたり、全額返還しなくてもよいと言われたりして、どちらが正しいのかわかりません。