Kariernya di St. Mirren berlangsung gemilang, selama 4 musim menangani klub tersebut (1974-1978). Ferguson mengangkat klub kecil yang tadinya hanya ditonton oleh 1000 orang dalam pertandingan kandanganya itu menjadi juara Liga Skotlandia pada musim 1977 dengan permainan menyerangnya. Selain itu ia berjasa dalam menemukan bakat-bakat muda dalam diri Billy Stark, Tony Fitzpatrick, Bobby Reid dan Peter Weir. Kesuksesan Ferguson dalam mengangkat St. Mirren ternyata berujung pada pemecatan pada tahun 1978 karena konflik internal antara Ferguson sendiri dengan staffnya. Presiden klub St. Mirren, Willie Todd bahkan mengatakan bahwa Ferguson "tidak mempunyai kemampuan manajerial yang baik". Dengan demikian St. Mirren adalah klub satu-satunya yang pernah memecat Ferguson sepanjang karier manajerialnya.
Pada tahun 1978 Ferguson menjadi manajer Aberdeen menggantikan Billy McNeil yang pindah ke Glasgow Celtic, ia diharapkan untuk mengembalikan masa kejayaan Aberdeen yang menjuarai Liga Skotlandia terakhir kali pada 1955. Namun karena usia Ferguson yang terbilang cukup muda (36 tahun) tetap saja ia kesulitan meraih respek dari para pemain yang beberapa diantaranya lebih tua dari manajer mereka sendiri.
Pada musim debutnya, Aberdeen meraih peringkat ke 4 walaupun tidak pernah kalah sebelum Desember 1978. Ferguson juga membawa Aberdeen ke semifinal Piala Skotlandia dan Piala Liga Skotlandia. Pada musim berikutnya Aberdeen kembali kalah dalam final ajang Piala Liga Skotlandia oleh Dundee United setelah pertandingan replay. Ferguson menyalahkan dirinya sendiri yang seharusnya mengubah taktik dan komposisi pemain dalam pertandingan replay tersebut.
Setelah pertandingan final itu, performa Aberdeen mengalami peningkatan sampai mereka menjadi juara Liga Skotlandia pada akhir musim 1979/80. Hal ini membuat Ferguson mendapatkan kepercayaan dan respek dari para pemain dan direktur klub. Ia tetap menjadi manajer yang penuh disiplin sehingga pemain-pemainnya menjulukinya "Furious Fergie" atau "Fergie yang Galak". Ia bahkan pernah mendenda salah satu pemainnya, John Hewitt karena mendahuluinya ketika mengendarai mobil di jalan. Ia juga pernah menendang sebuah teko teh kepada para pemainnya saat mereka tampil buruk dalam babak pertama.
Ferguson juga menuduh pers mengutamakan 2 klub saja (Rangers dan Celtic) dalam pemberitaannya. Aberdeen terus meraih sukses dalam musim-musim berikutnya. Diantaranya meraih Piala Skotlandia pada musim 1981/82. Trofi ini mengantarkan Aberdeen unutk berpartisipasi lagi dalam ajang Eropa, kali ini di ajang Piala Winners. Performa Fergie bersama Aberdeen mendapat sorotan media setelah mereka secara mengejutkan menyingkirkan Bayern München setelah klub itu mengalahkan Tottenham Hotspur 4-1 dalam ronde sebelumnya.
Kesuksesan ini mendatangkan kepercayaan diri pada skuab Aberdeen yang percaya mereka dapat meraih sukses dalam ajang Piala Winners. Hal yang menjadi kenyataan ketika pada 11 Mei 1983 mereka sukses mengalahkan raksasa Spanyol, Real Madrid 2-1 dalam final. Aberdeen menjadi klub ketiga Skotlandia yang meraih sukses Eropa setelah Rangers dan Celtic. Dalam kompetisi domestik Aberdeen berhasil mempertahankan mahkota juara Piala Skotlandia dengan kemenangan 1–0 atas Rangers di final. Musim berikutnya Aberdeen kembali meraih gelar juara Piala Skotlandia untuk ke tiga kalinya secara berturut-turut, dan meraih gelar juara Liga Skotlandia. Hal ini membuat Ferguson dianugerahi gelar OBE pada 1984. Fergie kembali membawa Aberdeen mempertahankan gelar juara Liga Skotlandia pada musim 1984-85.
Musim berikutnya (1985/86) mereka gagal dalam ajang Liga, posisi 4 dalam klasemen, walaupun mereka meraih juara Piala Liga dan Piala Skotlandia pada tahun yang sama. Pada musim yang sama, Ferguson adalah salah satu staf pelatih dalam tim nasional Skotlandia ketika menghadapi ajang Piala Dunia 1986. Namun meninggalnya pelatih utama mereka, Jock Stein, membuat Ferguson ditunjuk menjadi pelatih utama Skotlandia pada Piala Dunia 1986.
Ia kemudian menunjuk Archie Knox menjadi asisten manajer yang mana adalah juga asistennya di Aberdeen. Karena jasa-jasanya di Aberdeen, Ferguson kemudian diusulkan untuk menjadi salah satu direktur di klub tersebut, namun Fergie menolaknya dan mengatakan bahwa ia berniat untuk pindah dari Aberdeen pada akhir musim 1985/86. Walaupun ia tetap berada bersama Aberdeen pada awal musim 1986/87, namun pada November 1986, Ferguson akhirnya menerima pinangan Manchester United untuk menjadi manajer mereka menggantikan jabatan yang dipegang Ron Atkinson.
