Duifhuizen kwam in 1981 in Ermelo wonen nadat hij gesolliciteerd had op een vacature voor docent geschiedenis. Toen hij in Ermelo begon, telde de school 1100 leerlingen; na de fusie met mavo Irminloo en de Driesprong zijn dat er nu 2600. In 2004, een jaar na de overgang naar één schoolgebouw kreeg Duifhuizen de verantwoording voor de hele school.