Zamek został zbudowany w XIV w. przez króla Kazimierza Wielkiego. W tym samym miejscu wznosił się od końca IX w. drewniany grodek. W drugiej połowie XIII w. w grodzie mieściła się siedziba międzyrzeckiego kasztelana. Gród wielokrotnie był palony, niszczony i zdobywany przez Brandenburczyków, po czym odbudowywany i nadal użytkowany. Powstanie zamku murowanego wiąże się, o czym informują w swoich kronikach Janko z Czarnkowa i Jan Długosz, z działalnością budowlaną króla Kazimierza Wielkiego. Zamek zaczęto wznosić prawdopodobnie na początku lat trzydziestych XIV w.