Bei ihm ist das Geburtsdatum nicht eindeutig datiert, man findet entweder den 11. oder 23. Februar 1878 in Kiew. Er macht eine fünfjährige Ausbildung an einer Landwirtschaftsschule. Ungefähr 1896 hat er eine Stellung als technischer Zeichner  in Karsk-Moskau. 1900-1905 studiert er in Moskau an der Schule für Malerei, Skulptur und Architektur. Danach arbeitet er fünf Jahre lang am privaten Atelier von Fjodor Rerberg in Moskau. 1912 zieht er nach Paris und schreibt 1915 sein Manifest „Vom Kubismus zum Suprematismus. Der neue malerische Realismus“.  In diesem Manifest fordert er absolute gegenstandslose Malerei, die auf geometrische Formen, wie das Rechteck, Dreieck oder der Kreis zurückgeführt wird. 1916 gründet er die Gruppe „Supremus“. 1917 wird er zur Aufsicht der nationalen Kunstsammlung des Kreml beauftragt. Danach wird er Vorsitzender der Kunstabteilung des Moskauer Stadtsowjets und Meister an der zweiten „Freien staatlichen Kunstwerkstätte“, sowie Professor an der „Freien staatlichen Kunstwerkstätte“ in Petrograd. 1920 gründet er in Witebsk die Gruppe UNOWIS (Bestätiger der Neuen Kunst). Zwischen den Jahren 1923 und 1926 ist er Leiter des Instituts für künstlerische Kultur in Petrograd. Danach ist er bis 1929 am staatlichen Institut für Kunstgeschichte beschäftigt. 1932 erhielt er dann die Leitung an einem Forschungslabor des Russischen Museums in Leningrad. Am 15. Mai 1935 stirbt Josef Albers in Leningrad.

Am Anfang seiner künstlerischen Tätigkeit stellt Albers oft Menschen und Gegenstände dar, bis er ab 1915 suprematistische Werke macht. Zwischen den Jahren 1913 bis 1932 entwickelt er den Suprematismus, dies ist eine spezielle Form des russischen Konstruktivismus. Er will damit eine Kunstform erreichen, die allgemein verständlich ist. In seinen Gemälden findet man die Farben Weiß, Schwarz, Rot, Blau, Gelb und Grün, sowie die geometrischen Grundformen Rechteck, Dreieck und Kreis. Sein bekanntestes Werk ist „ Schwarzes Quadrat auf weißem Grund“, ca. 1923.