Karier sepak bola Ferguson dimulai ketika ia bergabung dengan klub amatir Queens Park pada umur 16 tahun. Berposisi sebagai penyerang ia mencetak 20 gol pada musim debutnya dan pindah pada musim berikutnya ke klub amatir St. Johnstone. Di klub barunya, Ferguson mengejutkan publik dengan mencetak hattrick melawan klub idolanya Glasgow Rangers. Performanya membuat ia dikontrak profesional oleh Dunfermline. Pada musim pertamanya Ferguson berhasil mencapai final Piala Skotlandia melawan Glasgow Celtic akan tetapi kalah 3-2. Ferguson sendiri tidak tampil dalam final karena penampilan buruknya ketika melawan St. Jonstone pada pertandingan sebelumnya.
Musim keduanya bersama Dunfermline, ia berhasil keluar sebagai pencetak gol terbanyak Liga Skotlandia bersama Joe McBride dengan 31 gol. Prestasi ini akhirnya mengantarkan Ferguson ke klub impiannya sejak kecil, Glasgow Rangers.
Masa-masa di Rangers ternyata tidak menyenangkan Ferguson. Ia sering dicadangkan dan berlatih dengan tim junior. Hal ini membuat Fergie tidak betah dan hanya bertahan 2 musim bersama Rangers. Ia kemudian ditawari pindah oleh klub Inggris, Nottingham Forest. akan tetapi istrinya, Cathie tidak menyetujui kepindahan mereka ke Inggris. Ia lalu memilih untuk pindah ke klub Falkirk. Ferguson dipromosikan sebagai pelatih merangkap pemain. Namun tak lama kemudian jabatannya digantikan oleh John Prentice. Ferguson kemudian memilih untuk pindah ke Ayr United dimana ia bermain disana sampai pensiun sebagai pemain pada 1974. Sebagai pemain Ferguson telah mencetak total 170 gol dalam 317 pertandingan.
