1976 Olimpiyat Oyunları boykotlar ve uyuşturucu iddiaları ile gölgelendi. Olimpiyat Oyunlarından önce, Yeni Zelanda'nın ragbi takımı Güney Afrika'yı gezdi (halen ırk ayrımı) ve onlara karşı oynadım. Bu nedenle, Afrika'nın geri kalanının çoğu IOC'yi Yeni Zelanda'yı Olimpiyat Oyunlarından yasaklamakla tehdit etti veya Oyunları boykot ettiler. IOC'nin ragbi oynama üzerinde hiçbir kontrolü olmadığı için IOC, Afrikalıları Olimpiyatları misilleme olarak kullanmamaya ikna etmeye çalıştı. Sonunda, 26 Afrika ülkesi Oyunları boykot etti. Ayrıca, Kanada onları Çin Cumhuriyeti olarak tanımadığında Tayvan Oyunlardan çıkarıldı.
Uyuşturucu iddiaları bu Olimpiyatlarda çok yaygındı. İddiaların çoğu kanıtlanmamış olsa da, birçok sporcu, özellikle Doğu Alman kadın yüzücüleri, anabolik steroid kullanmakla suçlandı. Shirley Babashoff (Amerika Birleşik Devletleri) rakiplerini büyüklerinden dolayı anabolik steroid kullanmakla suçladığında Doğu Alman ekibinden bir yetkili, kasları ve derin sesleri şöyle yanıtladı: "Yüzmeye geldiler, şarkı söyle."
Oyunlar ayrıca Quebec için finansal bir felaketti. Quebec, Oyunlar için inşa edilip inşa edildiğinden ve inşa edildiğinden beri, muazzam 2 milyar dolar rakamı harcadılar ve onları onlarca yıl borçlandı. Daha olumlu bir not, bu Olimpiyat Oyunları üç altın madalya kazanan Romen jimnastikçi Nadia Comaneci'nin yükselişini gördü. 88 ülkeyi temsil eden yaklaşık 6.000 sporcu katıldı.