Конечно же, сказка о «крестьянской Золушке» закончилась быстро. Возможности игроков и клуба были ограничены (в 1961 году в Англии отменили потолок зарплаты в 20 фунтов, но платить больше тридцатки даже лучшим своим игрокам «Ипсвич» не мог), соперники уже знали, чего ожидать от команды Рэмси, к тому же средний возраст чемпионского состава подбирался к 30-ти годам и играть на высочайшем уровне становилось все сложнее.

В 1963 году Альф Рэмси возглавил сборную Англии, а уже в 1964 году «Ипсвич», заняв последнее место, вылетел во второй дивизион. Однако пример команды Рэмси стал, пожалуй, для Англии первым успешным доказательством того, что в новом футболе можно добиваться успеха не только благодаря исполнительскому мастерству игроков, но и за счет тактики.