島根県出雲市斐川町の出身。お寺の住職の長男に生まれた藤岡隊員。
小学生の頃は、「本なんて全然ない時代。誰かひとり『少年講談』を持っていると順番に回し読みしたもの。特別、人よりも余計に本を読んだということはないですよ」と回想する。
そんな藤岡少年が、最初に日本史に興味を持ったのは小学校の担任だった岡 義重先生の影響だ。
「それはおそろしい先生でしたが、実は凄い郷土史家」だった。当時、男子生徒だけでも1クラスに60人はいた時代。「今日は、外で授業するぞ」と岡先生が言うと、みんなで田んぼの畦道をぞろぞろ歩いて従った。「築地松(ついじまつ)ちゅうのは、どげしてできたか」など、たくさんの郷土の歴史を教えてくれた。「戦争中でノートもなんもないような時期に、それは大きな影響を僕に与えてくれて、歴史が好きになった」のだ。

昭和20年(1945)4月、県立大社中学校入学。藤岡少年は、ここで運命的な出会いをする。
「藤澤秀晴という同級生がいて友達になったら、こいつが歴史をよう知っていた」から、お互い「なにくそ、負けるか！」と競い合って楽しんだ。「剣術で一番強いのは、塚原卜伝(つかはらぼくでん)だ」「いやちがう。上泉伊勢守(かみいずみいせのかみ)だ」など、他愛もないことを真顔で言い合い喜んで、時間の経つのを忘れて熱中したのだった。

図書館で働くようになった藤岡隊員は、県の依頼を受け、隠岐の島前で講演をすることになる。自身で決めたテーマは「後醍醐天皇の行在所（あんざいしょ）について」。ところが、出迎えた方から「テーマがよくない。〝後鳥羽上皇と行在所〟に変えたらどうですか」と言われた。なぜなら、後醍醐天皇の行在所は、島前説と島後説の両方あって実にデリケート。一方、後鳥羽上皇の行在所は海士町と決定づけられているからだ。しかし、藤岡隊員は「どちらが正しくてどちらが間違いだとか、そんなことを言うつもりもありません。ただ、今までどう研究されて、誰がどういう説を出したかをお話しするだけ」と講演を決行する。そして、それは、質問コーナーで起こった。

ひとりの年配の男性が手を挙げて、強い口調でこう言った。「本土から来た者がごちゃごちゃ言うな。私らにとって行在所は、島前の西ノ島町の黒木御所が絶対的。後醍醐天皇がここにいらしたということを生きがいにして、この離れ島で生きてるんだ」という内容。バットで殴られたような衝撃を受けた。
「この方が言ってることは学問的に筋は通りません。しかし彼はそれを信じて、島のために尽くして生きてきた。そこで思ったんです、歴史とは、真実を追求するだけじゃなくて、そこに住んでる人々の生きる力になるようなものじゃないと本当の歴史じゃないんじゃないか」

以降、藤岡隊員は、態度をガラッと変えたという。「もう中央の先進的な論文なんか読まん。学会も出るのやめた。その代わり、これからは郷土史に邁進しよう」と。
機会があるごとに件の男性を訪ねたが、会えずじまい。「お礼を言おうと思ってたんですけどね」とちょっとした後悔があるという。
昭和60年(1985)には、県立島根女子短期大学(現.県立大学短期大学)の助教授に迎えられ、平成8年(1996)、学長に就任。現在、県立大学短期大学の名誉教授。