橫山大觀出生于1868年（明治元年），是水戶（日本地名）士族酒井拾彥的長男酒井秀麿。隨著明治維新的費藩政策，父親喪失了水戶藩士的地位，1878年（明治11）他隨父親來到了東京。大觀在湯島小學校畢業後進入東京府中學校（現日比谷高校）就讀，1885年（明治18）志願成爲一名建築家報考了東京大學預備校，因同時報考兩個學校違反了招生考試的內部規定而喪失了考試資格，之後進入東京英語學校學習英語。並在1888年（明治21）東京美術學校（現東京藝術大學）開校之際，參加考試並成爲該學校的第一期學員。也是在那個時期與橫山家結養子之緣並過繼給橫山家並改名爲橫山秀麿。隨後與29歲時就當了東京美術學校第二代校長的岡倉天心相識，成爲大觀一生所敬仰的老師。大觀畢業後擔任帝室博物館（現東京國立博物館）特聘之職，後來又擔任京都市立美術工藝學校（現京都市立藝術大學）教師，之後成爲東京美術學校圖案科的助教授，從那時起開始使用大觀之號。
　由于東京美術學校的內部紛爭，1898年（明治31）大觀隨天心一起辭職，共同參與創立了日本美術院，1903年（明治36）他出遊印度，1904年（明治37）與天心一起渡美，在美國各地舉辦了展覽會。
　1906年（明治39）天心將茨城縣大津村五浦（現北茨城市）稱作“東洋的巴比松派(1830年-1840年在法國興起的鄉村風景畫派)”，將研究所（現茨城大學五浦美術文化研究所）遷到那裏，並將弟子下村觀山、菱田春草、木村武山、以及大觀等人叫到五浦，致力開創新的日本畫。在五浦的生活頗爲艱苦，1907年（明治40）大觀的父親拾彥過世，老師橋本雅邦也去世了，五浦的家又被全部燒毀，有一段時間大觀就暫住在上野池之端的七軒町。1909年（明治42）大觀在池之端茅町（現紀念館）有了自己的房子。後來，1913年（大正2）天心也去世了。
　大觀開始將精力專注于作畫，不斷地拿出作品參加文展和帝展，並在1922年（大正11）參展法國的沙龍，並被推舉爲會員。1930年（昭和5）在羅馬舉辦的日本美術展中，他作爲畫家代表參加展覽。1937年（昭和12）獲得第1回文化勳章，1947年（昭和22）獲得文化功勞獎章，是帝國藝術院會員，終生引領著日本畫壇。他于1958年（昭和33）去世，結束了89年的藝術生涯。

　大觀的作品風格，相對于沿用至今的日本畫的線描法，他受到對西洋美術與東洋美術都造詣很深的天心的指導，同時受到英國的約翰·康斯太勃爾（John Constable）、居斯塔夫·庫爾貝（Gustave Courbet）以及卡米耶·柯羅(Camille Corot）等法國的巴比松派和印象派，也就是外光派的影響，爲線條並不明確的沒線畫法所傾倒。當時的評論家們將他的這種畫法稱爲朦胧體。這種表現技法也成爲大觀的作品特征，並帶動了日本畫的革新。從他年輕時候的作品直到昭和時期爲止作品中，能夠感受到這種作畫風格的變遷。